首页 > 问答 > 怎么设置robots禁止百度抓取数字目录?

怎么设置robots禁止百度抓取数字目录?

[导读]:只要是数字的目录都不能抓取,如何操作? 这个是一个很好弄的目录, 可以看一下这个:最全面的Robots.txt 书写方式! ### Disallow:/ 1 / Disallow:/ 2 / ............. ### 我是设置的一个栏...

只要是数字的目录都不能抓取,如何操作?

这个是一个很好弄的目录, 可以看一下这个:最全面的Robots.txt 书写方式!

###

Disallow:/1/
Disallow:/2/
.............

###

我是设置的一个栏目禁止抓取 。

###

这样的好像没有办法用一条Disallow:设置。
只能是把所有不想被抓取的目录,都使用一条Disallow:

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/39963.html