[导读]:通过site命令可以看到第一页有三四条css的收录,这是否属于正常? 一般css会归类到一个目录文件夹,页面程序进行调用就可以了,既然已经收录了,这无疑是浪费了蜘蛛的爬取...
通过site命令可以看到第一页有三四条css的收录,这是否属于正常?
一般css会归类到一个目录文件夹,页面程序进行调用就可以了,既然已经收录了,这无疑是浪费了蜘蛛的爬取。
建议:屏蔽CSS的目录文件,写到Robots里面去。
已经都收录了,正常不正常,这个当然也没有造成影响啦。现在屏蔽掉,让蜘蛛去爬取更有用的内容。
那是因为你没在Robots上写禁止抓取css文件
<a href="">绕线机</a>
###Robots禁止
###节省蜘蛛资源,可以对JScss等文件进行屏蔽
CSS文件、JS文件搜索引擎都是可以爬取的
因为这个数据很直观的体现在网站日志中。
CSS文件处理:
CSS文件是表现层,很多最弊方法是可以通过这里实现的;屏蔽了,也会使快照页面变难看。
所以,CSS文件一般是不直接屏蔽的。
推荐做法:
1.合并网站的CSS文件,并外部调用CSS文件。
CSS合并的地址可以是主域名下面,大型网站推荐用子域名来做。
文件加载的位置在顶部
js文件处理方法一样,只是加载的位置最好在底部,有效提高网站的加载速度。###
1、禁止后台页面使用URL访问
2、不建议屏蔽css,有作弊的风险。
蜘蛛抓取了你的css文件,建议将文件屏蔽掉,在、Robots.txt
User-agent: *
Disallow: .css
先查看网站日志,看看每天蜘蛛抓取css文件的次数,如果占总抓取次数比例很少,比如百分之一都不到,那就不用管它。
如果抓取量很大,建议Robots文件屏蔽css文件
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/80099.html