我的网站日志现在出现了好多爬虫爬的404JS文件，要不要让爬虫爬？还是直接在ROBOTS里面给禁止了？

这个没弄过

咋看网站日志呢？学习一下

不清楚

我的是没有禁止，百度也爬取不了，估计你这个是伪蜘蛛

可以禁掉，爬了也没意义。

可以禁止

可以禁止啊  JS不需要被抓取   你也可以整理出来提交百度  说明这些是404页面不要抓取

这个不用管的，没事的

不需要禁止

不清楚

一般是禁止抓取的

JS没有太多不必要禁止掉

这个是伪蜘蛛~

这个还真没研究过 不过百度好像不能爬取到JS是干嘛的 只能知道这个是个JS  应该没必要禁掉吧

只能爬取到链接