是不是该把这些蜘蛛给禁了？？？？
[导读]：都成蜘蛛的乐园了，每天以bing 为首的蜘蛛，还有很多不知名的蜘蛛，来得那个勤快，有的一秒要访问三四次。 bing 蜘蛛来了，但不收录。。。。 先检查下是真蜘蛛还是假蜘蛛，...
都成蜘蛛的乐园了，每天以bing 为首的蜘蛛，还有很多不知名的蜘蛛，来得那个勤快，有的一秒要访问三四次。
bing 蜘蛛来了，但不收录。。。。
先检查下是真蜘蛛还是假蜘蛛，如果是假的，直接屏蔽。如果是真的根据你自己的业务来，可以直接在Robots里面屏蔽某个搜索引擎的抓取，一劳永逸。
###有蜘蛛抓不是很好吗？ 楼主是想节省成本还是其他啥？
###如果是真蜘蛛，看是否影响到网站的正常访问，如果没有，那你就暂时先让它爬呗，观察一段时间。像这种集中的爬取，除非是采集的。不然真蜘蛛不会频繁这样，只是偶尔的发生的。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/66508.html
