[导读]：每天2w个百度蜘蛛爬行我网站，其中8000的蜘蛛是爬行我js的！这爬行的是不是太多了！对我网站有没有影响！ 蜘蛛抓取一个网站的时间是有限制了，而它将时间花费在抓取一些不...
每天2w个百度蜘蛛爬行我网站，其中8000的蜘蛛是爬行我js的！这爬行的是不是太多了！对我网站有没有影响！
蜘蛛抓取一个网站的时间是有限制了，而它将时间花费在抓取一些不重要的文件时就等于耗费资源，导致真正有价值的页面没有时间抓取到，因此建议使用Robots屏蔽。
###用Robots屏蔽吧。毕竟抓取了也没用处。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/30294.html
