网站日志里看到从这个月12号开始百度蜘蛛每天抓取很多网站新闻目录里不存在的链接，空链接，什么原因呢？大家帮忙分析下。

是不是没有做好URL的统一化？没有屏蔽多余路径形式呢？

建议通过Robots.txt屏蔽掉多余路径，比如动态和伪静态，留一个参加排名的形式，比如静态路径。

对于死链那就把死链提交给百度吧，没有其他办法了。

做好404   状态码返回正常就行

1、使用Xenu或者尖叫青蛙软件，扫一下全站，看看是否能抓取到死链接或者不存在的页面；

2、一般百度蜘蛛都是只爬行，不会凭空抓取不存在的URL，看看自身URL规划问题，及网站是否有这类URL；

3、如果某些栏目不存在内容可Robots下；

4、下载网站日志，多用几个工具去分析看一下；

5、看一下这个死链是怎么产生的。

正常  有专门的蜘蛛抓取这些

404跳转一下

想过来学习一下

不太清楚哦

学习一下

那就不清楚了

正常  有专门的蜘蛛抓取这些

不存在的删除