首页 > 问答 > 如何写robots规则屏蔽类似页面?

如何写robots规则屏蔽类似页面?

[导读]:http://www.abc.com/site-yuyue-158.html http://www.abc.com/site-yuyue-188.html http://www.abc.com/site-yuyue-10.html ........................... 类似相同页面有数百个,如何写robots规则屏蔽,求高手指点,谢谢!...

http://www.abc.com/site-yuyue-158.html
http://www.abc.com/site-yuyue-188.html
http://www.abc.com/site-yuyue-10.html
...........................

类似相同页面有数百个,如何写robots规则屏蔽,求高手指点,谢谢!

若有共性,就按照共性规则屏蔽,比如所有需要屏蔽的URL都是以下这类型是,且这类URL中不含有不需要屏蔽的URL

则:
Disallow: /Site-yuyue-

若无共性,也就是说上面这类URL中还有一部分是不需要屏蔽的,那就要一条一条些规则:
Disallow: /Disallow: /Disallow: /或者需要
Disallow”配合“Allow”使用。

###

Disallow: /Site-yuyue-*.html 这样呢

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/30205.html