首页 > 问答 > 设置页面防刷新是否影响蜘蛛抓取

设置页面防刷新是否影响蜘蛛抓取

[导读]:设置页面防刷新时间为1秒,是否影响蜘蛛抓取效率,就是如果蜘蛛0.5秒抓取一个页面后,蜘蛛是否受到这个限制而抓取不到第2个页面 这个没研究过。 不过你可以拿一般小频道...

设置页面防刷新时间为1秒,是否影响蜘蛛抓取效率,就是如果蜘蛛0.5秒抓取一个页面后,蜘蛛是否受到这个限制而抓取不到第2个页面

这个没研究过。
不过你可以拿一般小频道或者栏目实验一下。

另外如果为了防采集的话,可以经常修改内容的那个DIV名称,可以让他们采空内容回去。

###

感觉不会吧,不可能一个蜘蛛在1秒之内访问几次这个页面吧
而这个防刷新是根据IP判断的吧,另外一个蜘蛛来抓取,不受这个限制的

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/17557.html