[导读]:我想让ibeauty。essh。cn/0459/ 这个目录屏蔽百度蜘蛛,不让蜘蛛抓取网站/0459/这个目录下的东西,其他的目录照常抓取,robots.txt应该咋写? 求大家指导一下 Robots里面若已经有其他...
我想让ibeauty。essh。cn/0459/ 这个目录屏蔽百度蜘蛛,不让蜘蛛抓取网站/0459/这个目录下的东西,其他的目录照常抓取,robots.txt应该咋写?
求大家指导一下
Robots里面若已经有其他内容,则直接在里面加一行:
Disallow: /0459/
若没有robots,不需要用robots做其他屏蔽等操作,则完整robots为:
User-agent: *
Disallow: /0459/
然后,将robots提交到百度站长工具【见截图】
如果只是想是单个或某个链接点不需要抓取的话 用《Nofollow》这个定义他 就可以了
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/26217.html