[导读]:百度不是说它(这是动物的它哦)很重视robots协议嘛,为什么我上传了它还是爬行呢?我图为证,我的robots修改时间在2012年11月,是一个子网站,早就屏蔽了百度ZZ,但它还是收...
百度不是说它(这是动物的它哦)很重视robots协议嘛,为什么我上传了它还是爬行呢?我图为证,我的robots修改时间在2012年11月,是一个子网站,早就屏蔽了百度ZZ,但它还是收录了我的网站,并且快照居然是6月份的。
禁止所有搜索引擎浏览,又把网站地图提交上去,是不有有矛盾。
###法律规定公民不要做违法的事儿,但是依然有人在犯。
###搞不懂呀,既然不让搜索,又定义一个网站地图,这是想弄傻搜索 引擎不?
###哥们,Robots就是一个协议,百度蜘蛛是个机器,难免抓错的时候。
你的站 百度、360 google 都收录了,而且没有提示:该网站屏蔽抓取,那么应该是你的网站robots设置有问题吧!
不知道是不是这两个Sitemap的原因。
百度的回复
官方回复:如果其他网站链接了您Robots.txt文件中设置的禁止收录的网页,那么这些网页仍然可能会出现在百度的搜索结果中,但您的网页上的内容不会被抓取、建入索引和显示,百度搜索结果中展示的仅是其他网站对您相关网页的描述。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/31893.html