首页 > 问答 > robots.txt禁止收录该url,site:网址怎么还是收录了该url

robots.txt禁止收录该url,site:网址怎么还是收录了该url

[导读]:网站最近更改了固定链接,就用robots禁止蜘蛛爬之前的动态url了,现在site:网址还是出现了之前收录的动态url,是需要时间吗还是要采取其它的措施 这么失败啊,先收录了再说...

网站最近更改了固定链接,就用robots禁止蜘蛛爬之前的动态url了,现在site:网址还是出现了之前收录的动态url,是需要时间吗还是要采取其它的措施

这么失败啊,先收录了再说吗?

###

我以前也遇到过的,百度不像谷歌更新的快,你需要等一段时间,百度就会删除你的错误链接了~!

###

需要一定周期的,等等

###

要等百度识别,Robots.txt识别很慢。

###

亲测:日,Robots屏蔽百度蜘蛛,
日,收录未减少。查看日志,百度蜘蛛只访问robots文件和根目录。

###

一般来说分三个阶段:
第一:刚更改Robots文件的这几天,百度还是会继续收录;
第二:三五天之后,百度不会收录动态URL,但是百度快照会回档,你之前几个月的动态URL,使用Site查询的时候,还是会出现;
第三:再一到两个星期之后,动态页面会在百度的数据库全部删除,就不会再出现了。具体需要多久多久,需要结合网站以及百度具体的情况分析!

###

这个一般需要很长时间才不收录,我记得之前用了三个多月时间百度才没收录了。

###

应该是百度还没更新过来,写了Robots后百度要有一个反应时间,大约1-2周的时间吧

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/19799.html