[导读]：最近一直观察日志，就以昨天为例，如下图，通过光年和爱站的日志分析工具，蜘蛛抓取量为74， 但是发现图片、js和css占有大约为20左右，因为大部分的图片和样式文件都在i...
最近一直观察日志，就以昨天为例，如下图，通过光年和爱站的日志分析工具，蜘蛛抓取量为74，
但是发现图片、js和css占有大约为20左右，因为大部分的图片和样式文件都在image（如下图），我用不用把这个文件夹或者把js和css都robots掉？
能否给出详细的 蜘蛛User-Agent 做下判断
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/31468.html
