[导读]：搜索引擎抓取大量的404该如何处理？ 写到Robots文件中去，禁止掉制作抓取，就能直接减少404页面的抓取。 方法一： User-agent: * Disallow: / ? 如果你所有页面？参数的都是404页面。...
搜索引擎抓取大量的404该如何处理？
写到Robots文件中去，禁止掉制作抓取，就能直接减少404页面的抓取。
方法一：
User-agent: *
Disallow: /?
如果你所有页面？参数的都是404页面。
方法二：
使用web目录中的文件来自定义内容。” 再将404页面传入主机web目录下。
（Disallow: /）在写入robots文件中。
方法三：
没有主机管理平台404页面的设置，这里需要在网上目录下新建一个文件
文件名为（.htaccess）在此文件内输入如下代码（用记事本打开即可）
ErrorDocument 404 /
再将404页面改名为
（Disallow: /）在写入robots文件中。
目测是一些坏人get搜索拼垃圾链接，然后往外发。。大站经常这样，原来智联的排名中有一堆违禁词都是这么来的。不知道你说的处理指什么，反正提交404是没啥用的，今儿提交12w，赶明他又做出24w。。。
我能想到的，要么把get改成post；要么直接Robots里加上"jobs?jobKw"，把搜索url全屏掉。那些用动态url做的招聘列表用静态url生成一份，提交百度，动态url 301到静态url。我倾向第二种。
高手在这里啊！！
###Robots中加入disallow: /？屏蔽掉所有动态页面，防止蜘蛛陷阱，
###找到这些404页面的规律，然后使用Robots.txt屏蔽掉。
###明显是百度蜘蛛技术不行，谷歌就不会抓取这些链接。
让百度负责爬虫的工程师改算法罢。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/29275.html
