[导读]:《华领周末实战课程之战略地图与平衡计分卡》这是网站最近今天新添加的文章,今天通过光年日志分析工具发现,蜘蛛状态码中有很多404页面是关于这篇文章的,但链接都是五...
《华领周末实战课程之战略地图与平衡计分卡》这是网站最近今天新添加的文章,今天通过光年日志分析工具发现,蜘蛛状态码中有很多404页面是关于这篇文章的,但链接都是五花八门,请问这是怎么回事?详情见下图
(1)检查日志,分析这些蜘蛛的IP,用nslookup ip来查询,看下是否是真正的蜘蛛
(2)如果是真正的蜘蛛,来源页面是站内还是站外?如果是站外,那就没有问题。
如果是站内就检查一下日志,从日志中的来源页面分析,页面源代码是否出现了对应的url
有对应的url,肯定会被抓取;如果没有对应的url,检查一下是否【曾经=蜘蛛抓取时】的url就是那个样子?
善用百度站长工具抓取诊断。找到根本问题,有可能是程序的问题。
网站URL不正确,蜘蛛不识别,反悔代码 404
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/38912.html