[导读]:看到一个网站的robots文件,它的语句中第三行 是这么写的:Disallow: /?* 。这个语句有什么含义吗?作用是什么? 不抓取以 ? 开头的一切url,例如www点wangzhi点com/?xxx ### 简单点就是...
看到一个网站的robots文件,它的语句中第三行 是这么写的:Disallow: /?* 。这个语句有什么含义吗?作用是什么?
不抓取以 ? 开头的一切url,例如www点wangzhi点com/?xxx
###简单点就是不允许百度蜘蛛抓取动态链接。
###表示“不允许”抓取。百度一下有解释。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/30564.html