首页 > 问答 > 关于robots.txt书写的一些困惑

关于robots.txt书写的一些困惑

[导读]:大家能否仔细的说说下面两段ruobots代码的意思: Disallow: /admin*/ Disallow: /admin/ 顺便说说他们的区别在哪里,功能上有什么不同。 Ps:如果我要禁止抓取包含有admin的目录名的地...

大家能否仔细的说说下面两段ruobots代码的意思:
Disallow: /admin*/
Disallow: /admin/

顺便说说他们的区别在哪里,功能上有什么不同。

Ps:如果我要禁止抓取包含有admin的目录名的地址,该如何写(备注:admin不是子目录,可能是网站的二级、三级、四级目录名称)。

Disallow: /admin*/ 这个 禁止百度收录以admin这个名字开头的的目录内容

Disallow: /admin/ 这个 禁止百度收录 admin 这个目录下的任何内容

是你网站的某个目录不想被搜索引擎收录,写法如下:

User-agent: *
Disallow: /目录名称1/
Disallow: /目录名称2/
Disallow: /目录名称3/

如果禁止4级目录你可以写

Disallow: /一级目录/二级目录/三级级目录/四级级目录/

另外可以参考下百度的Robots介绍:

###

这么多正确方法,就不多说了

###

Disallow: /admin/
Disallow: /*/admin/

###

Disallow: /admin*/是禁止蜘蛛抓取以admin开头的所有目录
Disallow: /admin/ 是禁止蜘蛛抓取admin目录下面的目录

可以写成:Disallow:/* /admin/

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/28310.html