[导读]:先看看问题一 以下是引用卢松松博客上的话。 “对同一个站点的抓取速度控制一般分为两类:其一,一段时间内的抓取频率;其二,一段时间内的抓取流量。同一站点不同的时间...

先看看问题一
以下是引用卢松松博客上的话。
“对同一个站点的抓取速度控制一般分为两类:其一,一段时间内的抓取频率;其二,一段时间内的抓取流量。同一站点不同的时间抓取速度也会不同,例如夜深人静月黑风高时候抓取的可能就会快一些,也视具体站点类型而定,主要思想是错开正常用户访问高峰,不断的调整。对于不同站点,也需要不同的抓取速度。”
所以蜘蛛对服务器造成的压力,在单位时间段内应该是高于用户的,因为蜘蛛抓取的策略也是在不影响正常用户访问站点的前提下来操作的。而正常用户访问站点却是比较自由,应该某个时间段不会超过你上面提到的13万次
当然你限定用户访问13万次,这个前提与蜘蛛抓取压力13万,在同单位时间段内,应该是一样的吧。
以上也均是理想猜测,仅供参考。
对比了一下浏览器的工作原理及蜘蛛的工作原理。
个人感觉:
用户是来看东西的
蜘蛛是来偷东西的
所以,在同单位时间段内,蜘蛛对服务器造成的压力应该大于访客造成的。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/31631.html