[导读]:User-agent: * Disallow: 和 User-agent: * Allow: / 应该是一个意思吧 不带/ 不行 ### 如果你不会写Robots文件,你可以使用百度站长工具里面的Robots工具生成一下。 一般写的时候,Disallow:/这...
User-agent: *
Disallow:
和
User-agent: *
Allow: /
应该是一个意思吧
不带/ 不行
###如果你不会写Robots文件,你可以使用百度站长工具里面的Robots工具生成一下。
一般写的时候,Disallow:/这样是禁止搜索引擎抓取。而Allow: /是允许搜索引擎抓取。
而你写Disallow:并没有/,但是建议你还是不要这样写,防止搜索引擎识别上有问题。
个人感觉Disallow:和Disallow:/应该是一样的。
User-agent: * (星号指针对所有搜索引擎蜘蛛的设置)
但,下面两者并不是一个意思:
Disallow 是禁止爬行指定位置或目录
Allow 是允许爬行指定位置或目录
关于Robots写法的详细介绍:建议你认真看看。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/27343.html