[导读]：最近被大量爬虫爬取了大量的流量，日志文件生成了大量访问。“Unknown robot (identified by 'spider')”的ip是多少请问一下。这是我的网站http://www.sczhuangxiu.com [?] 大家知道他的ip吗...
最近被大量爬虫爬取了大量的流量，日志文件生成了大量访问。“Unknown robot (identified by 'spider')”的ip是多少请问一下。这是我的网站http://www.sczhuangxiu.com[?]大家知道他的ip吗？日志文件看了没找出来。
看下网站日志，然后在日志分析工具里查看蜘蛛IP来源
###你写了Robots，蜘蛛就会准守你设置的规定，不会去访问你让他访问的文件
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/88456.html
