动态robots写作问题,求教
阿门,是这样的:我有一个网站,该站有十余个主栏目,各个分类下又有几十或者几百不等的下级栏目。其URL规则如下:
主栏目:/category.php?catid=2
最后的数字2,可以是任意阿拉伯数字。
下级栏目:
/category.php?catid=83&areaid=4&sex=2&education=3
/category.php?catid=91&areaid=4&sex=2
/category.php?catid=96&areaid=17&pet_class=4
/category.php?catid=101&areaid=4
/category.php?catid=138&areaid=4
/category.php?catid=76&areaid=2&sex=2&education=3&graduate=2
/category.php?catid=11&areaid=15&from=1&new_old=2
/category.php?catid=149&new_old=3
/category.php?catid=148&areaid=2&from=2
/category.php?catid=28&car_type=1&car_brand=2
/category.php?catid=28&areaid=4&car_type=1&car_brand=2&car_year=2
/category.php?catid=29&areaid=3&truke_type=2
这些细分类的URL结构为:**/category.php?catid=(主栏目ID,数字)+二级分类ID+三级分类ID....**如上
那么,我仅仅希望百度抓取主栏目的URL,而主栏目其下的二级、三级乃至多级栏目,这些细分类多的打几百个类别,但是都想用robots屏蔽之。
请问如何写?
琢磨或者朋友指导的写法如下:

认真思考了@邓立博 门老师的问题。
分析了Robots.txt用法的范例,发现一般用到 * 的时候,一个语句里只用一次,下图示:
综合思考,建议你这个情况可以按如下写法,先允许10个主栏目,然后屏蔽所有。
allow:/allow:/allow:/allow:/allow:/allow:/allow:/allow:/allow:/allow:/disallow:/
研究下图发现星号的用法:

###
赞同夫唯老师的解决方案!
我的看法:从语法的角度解释一个‘星号’代表的是‘任何字符’,那么一句代码中出现2个或3个星号又有何意义(1个以上效果难道不是一样)?
其实你朋友给你的第一种和第二种写法都可以达到你的目的。
###个人偏向认为:
Disallow:/*&*
比较保险。
Disallow: /*&
没遇见过,上面已经有不少方案了。
Ecshop为何不使用伪静态。
其实你朋友写的,思路是很好的,这是我的写法:

###
个人愚见。
Disallow: /* /Disallow: /Disallow: /areaid=/*
上面这个应该要写九种,我只是列出了三种,因为啊们老师想屏蔽二级、三级乃至多级栏目。
Disallow: /*/*?*
Disallow: /*?*
Disallow: /areaid=/*?*
上面这个是动态的,这样应该也可以解决。
帮你顶一下 希望有人可以帮到你!
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/29396.html