每天早上一起床看一下蜘蛛统计 上百万  再一看日志都是 111.206.221.*     111.206.198.*   都是这两个IP段的蜘蛛  后来查了一下 是渲染蜘蛛 请问一下怎么能把这些蜘蛛给屏蔽掉呢？已经设置了robots  但是设置了就越来越多,每分钟上千个.很着急,哪位大佬给解决一下呗

可以让服务器那边设置一下访问极限。
在百度站长平台里面修改一下抓取压力，让搜索引擎及时认识自己的过分行为。

这种情况，还是别管了

建议服务器设置极限，没大问题建议不动，如果太过分的话就屏蔽以及站长投诉。

屏蔽IP段试试

如果百度的，可以设置一下  抓取频次，降低一下

为什么要屏蔽渲染蜘蛛的抓取频率，只要是百度的渲染蜘蛛不需要屏蔽的，如果嫌抓取过多对服务器造成压力，可以下调抓取频次

我也是，每天都固定时间段很多

看了一个帖子，最好不要管，以防造成自己的损失

看对于你服务器是否造成压力影响，没有就不管了，有了就吧对应的ip段屏蔽

方法主要有以下几种，以你的服务器带宽来定，如果带宽够，你可以不用理会。

1、在Robots里把CSS JS还有图片等文件禁止抓取

2、在服务器把渲染蜘蛛全部屏蔽，也可以屏蔽ip段

3、在服务器上安装防火墙进行CC防御

还是第一句话，主要看你的带宽是否满足，另外一种情况，就是这个蜘蛛是否已经把其他的蜘蛛平衡打破了，比如你渲染蜘蛛有1000频次，你其他的只有几十个甚至100多，但是你屏蔽后，你其他的蜘蛛可以立马起来，这样的话你就不得不屏蔽了。必经渲染蜘蛛真的没什么用，还占用带宽。

正常啊，你越屏蔽它越抓取。

因为蜘蛛来是有前提的呀

羡慕

牛逼的咋

想过来学习一下

我的跟你一样每次下午就来贼多