爬虫大量抓取404页面，怎么破？

作者：ww 7k7k com • 时间：2020-03-07 • 问答 • 来源：火车头采集规则 • 阅读

[导读]：我的网站被百度爬虫大量抓取了404页面，都是一些文件，请问怎么破？在这么下去，我快崩溃了，求各位大牛帮忙解决。谢了。 1.删除相关的链接屏蔽之 3。百度提交死链...

我的网站被百度爬虫大量抓取了404页面，都是一些文件，请问怎么破？

在这么下去，我快崩溃了，求各位大牛帮忙解决。谢了。