蜘蛛日志老是出现404

作者：网站首页被k • 时间：2020-03-07 • 问答 • 来源：独立访客 • 阅读

[导读]：网站出现很多返回码是404的蜘蛛爬行，我进网站后台检查，确定后台没有这个页面，那为什么我们后台都没有的页面蜘蛛还会进去爬行，而且百度平台上的站长工具的提取异常也...

网站出现很多返回码是404的蜘蛛爬行，我进网站后台检查，确定后台没有这个页面，那为什么我们后台都没有的页面蜘蛛还会进去爬行，而且百度平台上的站长工具的提取异常也没有显示异常。我试着用Xenu进去提取死链，但显示的链接明明是活链，请问有什么办法可以减少日志里面这些404。
例如：123.125.68.62 - - [21/Jul/2014:21:16:02 +0800] GET /zxzp/sjzc/1452.html HTTP/1.1 404 1257 - Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.12) Gecko/20101026 Firefox/3.6.12 QQDownload/1.7 -