User-agent: *

Disallow: /?*

Disallow: /?* 这个禁止的是什么目录？

如果你的网站是静态网站可以这么设计，如果是伪静态可能会导致网站不爬取的。这是一些大型的网站为了规范网站的静态路径而做的一些设置。

禁止抓取本站下面所有动态url地址的页面

www。com/?.html禁止收录
www。com/?123/可以收录

禁止抓取动态页面

比如www。com/?就是禁止的，

只要URL路径中包含 /? 这样的形式就禁止抓取

禁止收录页面URL规则：/?* ，*是个通配符合（所有的意思）只要URL是/?xxx这样的形式就禁止抓取