问题描述：一直在查看网站日志文件，但发现蜘蛛抓取的页面大部分是不需要抓取的文件，如js css 图片、模版目录，反而需要抓取的目录和内页的抓取却不好！之前有写过robots屏蔽不抓取模版目录，不知道是不是自己写错的原因，有同样情况，且知道如何处理的，请指点一二！

此图为网站日志分析数据

此图为robots文件

百度并不完全遵守Robots协议，对于他认为可能有问题的URL即使已经屏蔽也会抓取。

在你给的日志中我没有发现任何蜘蛛ip的存在。

可能是你理解错误，网站访问日志里面 的数据不单单就记录蜘蛛，还有我们正常人的浏览都会有记录。

至于Robots写的对不对得根据你的网站来看，把你网站发来看看

在站长工具平台中更新下Robots状态

没看到baiduspider呢，截图全些，也有可能是没有生效吧，不知道多久了