[导读]：比如：SEOwhy.com/help/9.html 这个网页是正常可以开的，但是我在网站日志里看到一个404页面，这个地址是;SEOwhy.com/help/9.htm 少了一个 l 所以会404 ,但是我查了整个网站，没有这个错误...
比如：SEOwhy.com/help/9.html 这个网页是正常可以开的，但是我在网站日志里看到一个404页面，这个地址是;SEOwhy.com/help/9.htm 少了一个 l 所以会404 ,但是我查了整个网站，没有这个错误地址，那么蜘蛛怎么会抓这个的呢？
谢谢了 各位
正如 夫老师所言
现在有很多站群采集百度搜索列表的内容，然后组合成文章，而采集的内容里面有很多网址，基本上都是不全的，就会造成你那样的爬行记录
可能是在站外某一个页面上，存在 /help/ 这个链接，蜘蛛通过那边抓取过来。
但这个情况问题不大。
要是认真的话，可以把这个地址放在Robots.txt里屏蔽下。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/19669.html
