首页 > 问答 > 动态robots写作问题,求教

动态robots写作问题,求教

[导读]:阿门,是这样的:我有一个网站,该站有十余个 主栏目 ,各个分类下又有几十或者几百不等的 下级栏目 。其URL规则如下: 主栏目: /category.php?catid=2 最后的数字2,可以是任意...

阿门,是这样的:我有一个网站,该站有十余个主栏目,各个分类下又有几十或者几百不等的下级栏目。其URL规则如下:

主栏目:/category.php?catid=2

最后的数字2,可以是任意阿拉伯数字。


下级栏目:
/category.php?catid=83&areaid=4&sex=2&education=3
/category.php?catid=91&areaid=4&sex=2
/category.php?catid=96&areaid=17&pet_class=4
/category.php?catid=101&areaid=4
/category.php?catid=138&areaid=4
/category.php?catid=76&areaid=2&sex=2&education=3&graduate=2
/category.php?catid=11&areaid=15&from=1&new_old=2
/category.php?catid=149&new_old=3
/category.php?catid=148&areaid=2&from=2
/category.php?catid=28&car_type=1&car_brand=2
/category.php?catid=28&areaid=4&car_type=1&car_brand=2&car_year=2
/category.php?catid=29&areaid=3&truke_type=2

这些细分类的URL结构为:**/category.php?catid=(主栏目ID,数字)+二级分类ID+三级分类ID....**如上


那么,我仅仅希望百度抓取主栏目的URL,而主栏目其下的二级、三级乃至多级栏目,这些细分类多的打几百个类别,但是都想用robots屏蔽之。

请问如何写?

琢磨或者朋友指导的写法如下:



认真思考了@邓立博 门老师的问题。

分析了Robots.txt用法的范例,发现一般用到 * 的时候,一个语句里只用一次,下图示:

综合思考,建议你这个情况可以按如下写法,先允许10个主栏目,然后屏蔽所有。
allow:/allow:/allow:/allow:/allow:/allow:/allow:/allow:/allow:/allow:/disallow:/
研究下图发现星号的用法:



###

赞同夫唯老师的解决方案!

我的看法:从语法的角度解释一个‘星号’代表的是‘任何字符’,那么一句代码中出现2个或3个星号又有何意义(1个以上效果难道不是一样)?

###

其实你朋友给你的第一种和第二种写法都可以达到你的目的。

###

个人偏向认为:
Disallow:/*&* 

比较保险。

###

Disallow: /*&

###

没遇见过,上面已经有不少方案了。

Ecshop为何不使用伪静态。

###

其实你朋友写的,思路是很好的,这是我的写法:



###

个人愚见。
Disallow: /* /Disallow: /Disallow: /areaid=/* 

上面这个应该要写九种,我只是列出了三种,因为啊们老师想屏蔽二级、三级乃至多级栏目。
Disallow: /*/*?*
Disallow: /*?*
Disallow: /areaid=/*?*

上面这个是动态的,这样应该也可以解决。

###

帮你顶一下 希望有人可以帮到你!

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/29396.html