[导读]:百度蜘蛛会抓取那些我们站本来就没有存在的连接,然后返回都是404,而且一天就有几百条。 这种情况是如何导致的?改如何解决? 我目前的两种方法: 1、像百度平台提交...
百度蜘蛛会抓取那些我们站本来就没有存在的连接,然后返回都是404,而且一天就有几百条。
这种情况是如何导致的?改如何解决?
我目前的两种方法:
1、像百度平台提交
2、写robots屏蔽
但是这些都是治标不治本的办法,有没有更好的办法?
如果搜索只有百度,倒是可以采用txt提交,可惜不是,所以不是提交url不是根本方法
###前一段时间我的网站也出现过这种情况,我的做法是在站点根目录下新建一个txt文件,命名为***.txt,然后把返回404的URL粘贴进去,一行一个,最后去百度站长平台提交,大概1、2个星期就完全没有了。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/29715.html