首页 > 问答 > 关于robots中的“*”通配符的使用问题

关于robots中的“*”通配符的使用问题

[导读]:由于网站是自研的程序,开设了很多圈子,圈子是由用户自己建立的,这里会出现一个问题,就是每个圈子都有一个发帖页面,由于量比较大,蜘蛛抓取也比较多,影响到网站整...

由于网站是自研的程序,开设了很多圈子,圈子是由用户自己建立的,这里会出现一个问题,就是每个圈子都有一个发帖页面,由于量比较大,蜘蛛抓取也比较多,影响到网站整个抓取,现在想把这种发帖页面屏蔽掉,但有个问题:每个圈子发帖页面URL不同,如:
圈子1发帖页面是:www.xxxx.com/g/yyy/bar/Edit
圈子2发帖页面是:www.xxxx.com/g/bbb/bar/Edit
圈子3发帖页面是:www.xxxx.com/g/ccc/bar/Edit
。。。。
圈子n发帖页面是:www.xxxx.com/g/ddd/bar/Edit

请问下,如何屏蔽每个圈子www.xxxx.com/g/yyy/bar/Edit这种发帖页面?

我的想法是 Disallow: /g/ * /bar/Edit * 这种方式对吗?跟robots中的“*”通配符的使用有冲突吗?

Disallow: /g/ * /bar/Edit
如果不确定可以使用百度站长工具的Robots工具再确认一遍!

###

建议认真阅读以下百度百科对于Robots的词条。

###

Disallow: /g/yyy*/bar/Edit

上面的应该是正确的,对于Robots,其实就是正则匹配的一个简单的应用。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/19708.html