[导读]：我的站到现在有1个多月，百度蜘蛛在抓取时，总是大部分抓取后缀为.js和.css，只有几个是抓取文章页、首页、栏目。需不需要用Robots禁止抓取？ 过一段时间自然就不会拼命抓取...
我的站到现在有1个多月，百度蜘蛛在抓取时，总是大部分抓取后缀为.js和.css，只有几个是抓取文章页、首页、栏目。需不需要用Robots禁止抓取？
过一段时间自然就不会拼命抓取这些文件了
###我认为如果是小型网站没啥必要，效果不大。大网站如果蜘蛛抓取的特别多的话，可以考虑屏蔽。
###这个要屏蔽也可以。
主要是你的文章页面和栏目页面，需要多做一些引蜘蛛的工作，比如给他们多一些站内入口页面和外链。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/32090.html
