[导读]：现在一个网站因为隐私设置有部分内容是只有会员登陆后才可见的一些动态，对游客是不开放的，但是这部分内容更新比较多，也有很多互动，想把这部分也让蜘蛛抓取，请问各...
现在一个网站因为隐私设置有部分内容是只有会员登陆后才可见的一些动态，对游客是不开放的，但是这部分内容更新比较多，也有很多互动，想把这部分也让蜘蛛抓取，请问各位大神我该怎么做，怎么对蜘蛛开放权限？
这个其实很多大网站也是这么做的，可能一部分内容因为利益原因而不对外开放，所以这部分内容很有价值，一般人想采集也采集不到，但是蜘蛛就能抓取到，我们只要模拟蜘蛛就能采集到他们内容。（具体哪些大站我就不透露了，不然恐怕一群人都去狂采）
说说是怎么实现的吧，其实很简单，就是通过判断蜘蛛UA而返回不同的内容而已，再者就禁止搜索引擎产生快照，不然别人一看快照可能就知道你是怎么做的。（很多人可能觉得这是作弊行为，但实际很多大站都这么做的，活的都非常好，具体小站这么做风险性有多大，我也没有过多测试过）
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/40750.html
