首页 > 问答 > 网站有正确的url,但日志分析蜘蛛状态码却有大量的404页面

网站有正确的url,但日志分析蜘蛛状态码却有大量的404页面

[导读]:《华领周末实战课程之战略地图与平衡计分卡》这是网站最近今天新添加的文章,今天通过光年日志分析工具发现,蜘蛛状态码中有很多404页面是关于这篇文章的,但链接都是五...

《华领周末实战课程之战略地图与平衡计分卡》这是网站最近今天新添加的文章,今天通过光年日志分析工具发现,蜘蛛状态码中有很多404页面是关于这篇文章的,但链接都是五花八门,请问这是怎么回事?详情见下图

(1)检查日志,分析这些蜘蛛的IP,用nslookup ip来查询,看下是否是真正的蜘蛛
(2)如果是真正的蜘蛛,来源页面是站内还是站外?如果是站外,那就没有问题。

如果是站内就检查一下日志,从日志中的来源页面分析,页面源代码是否出现了对应的url
有对应的url,肯定会被抓取;如果没有对应的url,检查一下是否【曾经=蜘蛛抓取时】的url就是那个样子?
善用百度站长工具抓取诊断。找到根本问题,有可能是程序的问题。

###

网站URL不正确,蜘蛛不识别,反悔代码 404

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/38912.html