怎么设置robots禁止百度抓取数字目录?
[导读]:只要是数字的目录都不能抓取,如何操作? 这个是一个很好弄的目录, 可以看一下这个:最全面的Robots.txt 书写方式! ### Disallow:/ 1 / Disallow:/ 2 / ............. ### 我是设置的一个栏...
只要是数字的目录都不能抓取,如何操作?
这个是一个很好弄的目录, 可以看一下这个:最全面的Robots.txt 书写方式!
###Disallow:/1/
Disallow:/2/
.............
我是设置的一个栏目禁止抓取 。
###这样的好像没有办法用一条Disallow:设置。
只能是把所有不想被抓取的目录,都使用一条Disallow:
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/39963.html