首页 > 问答 > robots.txt可以设置只抓取html文件么?

robots.txt可以设置只抓取html文件么?

[导读]:像这样: User-agent: * Disallow: /*?* Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.css$ Disallow: /include Disallow: /templets 实现不了,你得把你除了你自己创建的栏目之外所有的安装后的文件写上这...

像这样:

User-agent: *

Disallow: /*?*

Disallow: /*.php$

Disallow: /*.js$

Disallow: /*.css$

Disallow: /include

Disallow: /templets

实现不了,你得把你除了你自己创建的栏目之外所有的安装后的文件写上这样才可以

其实你压根没那个必要,PHP、JS、txt(有攻击)这样的文件直接在服务器防火墙设置更好点,设置好后把Robots放到白名单

你这么做也只是为了节省带宽,你只要把不必要的搜索引擎屏蔽就行,剩下的就是后台栏目那几个重要的屏蔽

屏蔽完以后每天对网站日志分析,把每天访问的一些垃圾ip在防火墙屏蔽下

上述所有的内容做好后,你如果再想只留html文件,那会再进行设置

11

这是我设置好后的情况,每天都还有一些假蜘蛛访问

###

路过,没弄过特例,一般Robots都正常书写的,没弄那么多特别的

###

可以啊

###

可以的

###

这样会影响收录么??

###

万能的

###

可以的

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/103168.html