[导读]:我来这公司之前网站有类似这样的URL:www。xxx。com/training/img/bocai_2713/index.html 打算屏蔽抓取含bocai的roborts写法那个正确呢?或者有其它写法? Disallow:/training/img/bocai_7713/即可,...
我来这公司之前网站有类似这样的URL:www。xxx。com/training/img/bocai_2713/index.html
打算屏蔽抓取含bocai的roborts写法那个正确呢?或者有其它写法?
Disallow:/training/img/bocai_7713/即可, 如果按照你那样写的话你会把bocai文件下的所有页面都禁止抓取了。
首先百度是有更新的周期的,disallow之后禁止百度抓取,蜘蛛便不会再抓取你的页面,你的页面已经收录了,那么删除需要一段时间(一个月或者更久)。
可以这样写:
Disallow:/training/img/bocai
这样就屏蔽了所有以
/training/img/bocai
开头的url地址。
Disallow:/bocai 这个写法是屏蔽以/bocai 开头的URL。
roborts / Robots
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/22176.html