[导读]:百度蜘蛛相对其他垃圾蜘蛛,还是比较遵守规则,之前所做的百度死链数据提交,大概1-3天百度蜘蛛就不会再抓取这些死链,但是最近这两个月,不存在的死链早就删除,而且做...
百度蜘蛛相对其他垃圾蜘蛛,还是比较遵守规则,之前所做的百度死链数据提交,大概1-3天百度蜘蛛就不会再抓取这些死链,但是最近这两个月,不存在的死链早就删除,而且做了死链数据提交,日志显示,隔三差五的百度蜘蛛会抓取这些不存在的链接,造成404,我想请问,有没有人实验过,百度蜘蛛在提交死链数据以后,识别死链的周期是多久?
这个跟百度的索引是不一样的,爬行是由于外部有链接,但是爬行不会建立索引。这个没有什么好担心的,而且如果外链存在在不同的蜘蛛系统内,一样会给予索引。除非是等到百度的数据库进行大更新的时候,否则这种情况依然会发生
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/19399.html