近期检查网站日志中，百度蜘蛛经常在网站中已经删除的页面以及不存在的页面中爬行，且好像是提权蜘蛛在爬行（觉得有点浪费)，导致出现很多404返回码，因为很多是栏目里的个别页面，所以请教大家有什么方法更好的解决这个情况。

最近我也遇到这种情况。
HTTP状态码返回404，但是跟踪发现这个页面根本不存在，并且每天都产生。

我的处理方法是：每天整理出****百度蜘蛛****404url（其蜘蛛我没有问），制作xml格式的死链文档，在百度站长平台提交。

效果如下：

可以把这些404页面列出，提交list给百度站长平台死链接提交入口。
过几天会删除了这些页面，就不会再爬取了。