首页 > 问答 > robots协议写法规范的问题

robots协议写法规范的问题

[导读]:Disallow:/data/与 Disallow:/data 的区别在那,分别屏蔽了什么 其实你的问题,百度早有解答,建议你还是要多看一些百度的官方说明,这些说明对于站长来说,是非常有价值的,引用...

Disallow:/data/与
Disallow:/data
的区别在那,分别屏蔽了什么

其实你的问题,百度早有解答,建议你还是要多看一些百度的官方说明,这些说明对于站长来说,是非常有价值的,引用一下你看看 Disallow:
该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/、/、/help /,而"Disallow:/help/"则允许robot访问/、/,不能访问 /help/。"Disallow:"说明允许robot访问该网站的所有url,在"/Robots.txt"文件中,至少要有一 条Disallow记录。如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。


引用网址:

###

Disallow:/data/ 屏蔽子目录(本身的不屏蔽的如:/data/ *.html)
Disallow:/data 是屏蔽目录里所有东西

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/17674.html