如何写robots规则屏蔽类似页面?
[导读]:http://www.abc.com/site-yuyue-158.html http://www.abc.com/site-yuyue-188.html http://www.abc.com/site-yuyue-10.html ........................... 类似相同页面有数百个,如何写robots规则屏蔽,求高手指点,谢谢!...
http://www.abc.com/site-yuyue-158.html
http://www.abc.com/site-yuyue-188.html
http://www.abc.com/site-yuyue-10.html
...........................
类似相同页面有数百个,如何写robots规则屏蔽,求高手指点,谢谢!
若有共性,就按照共性规则屏蔽,比如所有需要屏蔽的URL都是以下这类型是,且这类URL中不含有不需要屏蔽的URL
则:
Disallow: /Site-yuyue-
若无共性,也就是说上面这类URL中还有一部分是不需要屏蔽的,那就要一条一条些规则:
Disallow: /Disallow: /Disallow: /或者需要
“Disallow”配合“Allow”使用。
Disallow: /Site-yuyue-*.html 这样呢
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/30205.html