首页 > 问答 > 百度蜘蛛访问网站出现正常连接+null 导致抓取404

百度蜘蛛访问网站出现正常连接+null 导致抓取404

[导读]:好久没有看日志,今天看了一下iis日志真是吓了一跳,请问这个百度蜘蛛抓取正常的路径都是可以访问的,为什么后面会有一个+null从而导致百度抓取返回404 把日志下载下来,先...

好久没有看日志,今天看了一下iis日志真是吓了一跳,请问这个百度蜘蛛抓取正常的路径都是可以访问的,为什么后面会有一个+null从而导致百度抓取返回404



把日志下载下来,先不用工具分析,用excel看一下这些链接原来是什么样的,是不是因为有特殊字符导致工具处理时识别不出来所以变成了null

###

有日志吗,压缩一下上传上来,另外方便把网站发过来.

###

这个问题我也遇到过,具体问题不知道出在哪里,网上找了下也没人知道具体问题。有可能是百度蜘蛛和你网站服务器环境有关,我的解决办法是屏蔽已null结尾的URL链接,让蜘蛛的配额都放在有效链接的抓取上,Robots上加一条Disallow: /*null$

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/71977.html