首页 > 问答 > 为何我上传了robots屏蔽百度蜘蛛它还是抓取了我的网站呢?

为何我上传了robots屏蔽百度蜘蛛它还是抓取了我的网站呢?

[导读]:百度不是说它(这是动物的它哦)很重视robots协议嘛,为什么我上传了它还是爬行呢?我图为证,我的robots修改时间在2012年11月,是一个子网站,早就屏蔽了百度ZZ,但它还是收...

百度不是说它(这是动物的它哦)很重视robots协议嘛,为什么我上传了它还是爬行呢?我图为证,我的robots修改时间在2012年11月,是一个子网站,早就屏蔽了百度ZZ,但它还是收录了我的网站,并且快照居然是6月份的。

禁止所有搜索引擎浏览,又把网站地图提交上去,是不有有矛盾。

###

法律规定公民不要做违法的事儿,但是依然有人在犯。

###

搞不懂呀,既然不让搜索,又定义一个网站地图,这是想弄傻搜索 引擎不?

###

哥们,Robots就是一个协议,百度蜘蛛是个机器,难免抓错的时候。

你的站 百度、360 google 都收录了,而且没有提示:该网站屏蔽抓取,那么应该是你的网站robots设置有问题吧!
不知道是不是这两个Sitemap的原因。

###

百度的回复
官方回复:如果其他网站链接了您Robots.txt文件中设置的禁止收录的网页,那么这些网页仍然可能会出现在百度的搜索结果中,但您的网页上的内容不会被抓取、建入索引和显示,百度搜索结果中展示的仅是其他网站对您相关网页的描述。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/31893.html