首页 > 问答 > 关于网站蜘蛛爬取问题。

关于网站蜘蛛爬取问题。

[导读]:我想让ibeauty。essh。cn/0459/ 这个目录屏蔽百度蜘蛛,不让蜘蛛抓取网站/0459/这个目录下的东西,其他的目录照常抓取,robots.txt应该咋写? 求大家指导一下 Robots里面若已经有其他...

我想让ibeauty。essh。cn/0459/ 这个目录屏蔽百度蜘蛛,不让蜘蛛抓取网站/0459/这个目录下的东西,其他的目录照常抓取,robots.txt应该咋写?

求大家指导一下

Robots里面若已经有其他内容,则直接在里面加一行:
Disallow: /0459/

若没有robots,不需要用robots做其他屏蔽等操作,则完整robots为:

User-agent: *
Disallow: /0459/

然后,将robots提交到百度站长工具【见截图】

###

如果只是想是单个或某个链接点不需要抓取的话 用《Nofollow》这个定义他 就可以了

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/26217.html