不让百度蜘蛛爬行的代码是什么啊？求大神赐教-问答-微盟圈

不让百度蜘蛛爬行的代码是什么啊？求大神赐教

作者：www seowhy com • 时间：2020-03-08 • 问答 • 来源：www jiayuan com • 阅读

初学者，很多东西都不懂，希望大家多多指教

看淘宝的Robots.txt文件，复制过来用就可以了，不过貌似最近百度蜘蛛不遵守这个额。

###

直接在你网站的Robots.txt文件里面书写
User-agent: Baiduspider
Disallow: /

###如果要禁止所有的搜索引擎保存你网页的快照，那么代码就是下面的：

常用的一些代码组合：

：可以抓取本页，而且可以顺着本页继续索引别的链接

：不许抓取本页，但是可以顺着本页抓取索引别的链接

：可以抓取本页，但是不许顺着本页抓取索引别的链接

：不许抓取本页，也不许顺着本页抓取索引别 ###

你可以设置Robots.txt文件。Disallow： / XXXXX
或者Nofollow 的使用告诉爬虫无需追踪目标！据日操作要看你是不让其追踪目标链接或者目标页。

###

百度一下就知道了

本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/33533.html