现在搜索引擎可以清理404了？
有朋友说他在百度工作的朋友讲的，但他自己也说不出来原理，真的吗？
Disallow: /404.html
以前是觉得404不能被清理才在robots里屏蔽的，现在可以了，所以没有必要在屏蔽了

但是：
百度清理404是不是也是我们用百度工具给他提交了，他才会处理？
如果404让他抓的话，在他的数据库里就有太多404重复页面，一模一样的，不好

到底现在引擎是怎么出来404啊？

一般404页面指的就是不在存在被删除了的页面 搜索引擎数据库会慢慢的清理这些不存在的页面 但是首先你要友好的告诉搜索引擎你的页面已经不存在 不然搜索引擎返回的是200或者302的状态码 不利于优化 一般做好正确的404页面就行 不用Robots去屏蔽

在.htaccess 文件中加入代码： ErrorDocument 404 /
建立一个简单的html404页面命名 把 放置在网站根目录

所谓的百度清理404，应该通过的渠道是死链表，当你的网站出现死链：

首先要将死链设置404
其次要将死链整理到死链表提交给百度
理论上通过这个渠道，死链都会被清理，但实际上受很多因素影响，包括百度自身的错误都会导致死链重复被识别。你说的这个信息，我个人判断不存在。

你不去删除已经收录的内容 基本不会出现404

不去更改连接格式 也不会出现
所以保证网站没有死链接 百度基本不会出现