首页 > 问答 > 蜘蛛总是抓取网站不存在的页面,希望遇到过这种情况的高人解

蜘蛛总是抓取网站不存在的页面,希望遇到过这种情况的高人解

[导读]:网站之前收录都很正常,某一天,突然不正常,抓取各种404,这些url,根本就不存在。 还出现其他错误,是403,而这些403 的地址,已经写在root 文件不允许抓取的,不是外链,...

网站之前收录都很正常,某一天,突然不正常,抓取各种404,这些url,根本就不存在。

还出现其他错误,是403,而这些403 的地址,已经写在root 文件不允许抓取的,不是外链,也不是原创,也不是降权的事,请问有没有人遇到过同样的问题。



我们网站有和楼主一样的情况,我也一直没有找到什么原因,求解中。

###

你最好查下你的外链,是否有这种页面的外链。
一般造成这种情况的原因就是这种网页有外链引蜘蛛进入然后抓取的。
别的情况造成这种原因本人还没遇到过。

###

如果是谷歌,站长后台去清理抓取的404页面,告诉谷歌这些已经修复,他就不会再去爬了,然后301或者robot屏蔽。百度不知道怎么弄。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/18122.html