网站模板文件需要robots文件禁止吗？
[导读]：用工具分析了了网站的日志，发现一个文件就是爬虫频繁抓取 模板文件和网站上传附件 ，请问需要禁止吗？还是任它抓取？ 没必要的无需索引的页面都禁止了吧...
用工具分析了了网站的日志，发现一个文件就是爬虫频繁抓取模板文件和网站上传附件，请问需要禁止吗？还是任它抓取？
没必要的无需索引的页面都禁止了吧
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/30167.html
