首页 > 问答 > 网站模板文件需要robots文件禁止吗?

网站模板文件需要robots文件禁止吗?

[导读]:用工具分析了了网站的日志,发现一个文件就是爬虫频繁抓取 模板文件和网站上传附件 ,请问需要禁止吗?还是任它抓取? 没必要的无需索引的页面都禁止了吧...

用工具分析了了网站的日志,发现一个文件就是爬虫频繁抓取模板文件和网站上传附件,请问需要禁止吗?还是任它抓取?

没必要的无需索引的页面都禁止了吧

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/30167.html