首页 > 问答 > robots文件的一个问题

robots文件的一个问题

[导读]:看到一个网站的robots文件,它的语句中第三行 是这么写的:Disallow: /?* 。这个语句有什么含义吗?作用是什么? 不抓取以 ? 开头的一切url,例如www点wangzhi点com/?xxx ### 简单点就是...

看到一个网站的robots文件,它的语句中第三行 是这么写的:Disallow: /?* 。这个语句有什么含义吗?作用是什么?

不抓取以 ? 开头的一切url,例如www点wangzhi点com/?xxx

###

简单点就是不允许百度蜘蛛抓取动态链接。

###

表示“不允许”抓取。百度一下有解释。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/30564.html