[导读]:分别显示的抓取地址,时间,IP,状态 同一时间两个不同的蜘蛛IP进行抓取,过来没有一分钟 另外一个IP又过来抓取这个页面,请问从段日志中能够分出什么问题呢? 请教了。 ### 百度...
分别显示的抓取地址,时间,IP,状态
同一时间两个不同的蜘蛛IP进行抓取,过来没有一分钟 另外一个IP又过来抓取这个页面,请问从段日志中能够分出什么问题呢? 请教了。
###
百度那么多蜘蛛,没有协调好,同时都一起爬过来了,应该问题不大吧。
可以看下三个蜘蛛都是从哪里来的。
从之前我们的商务通的统计数据来看,百度蜘蛛在抓取的时候,每一个页面抓取的时候他的ip段是一样,但是ip都是不同的,数值不同。
至于为什么,也不是很清楚,还看高人的提点吧
低权重蜘蛛,你可以看看这篇蜘蛛IP解释
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/24894.html