robots问题，怎么禁止抓取以下这种网址URL?
[导读]：今天看了一下，发现网站收录了几条这样的网址 http://www.zhegou66.com/article/tag/k/%25E7%25A2%25B0%25E6%2592%259E [?] 这种是文章页面搜索某个关键词，然后出现了有多少篇这样的文章所产生...
今天看了一下，发现网站收录了几条这样的网址
http://www.zhegou66.com/article/tag/k/%25E7%25A2%25B0%25E6%2592%259E[?]
这种是文章页面搜索某个关键词，然后出现了有多少篇这样的文章所产生的URL。
今天看了一下，不管搜索那个关键词，显示的title都是一样的，但里面的内容却是不同的关键词搜索，所以内容是不一样的。因此这几条已经收录了的页面都是同一个标题。
因为担心，不同页面但标题却一样，会对网站有所影响，所以想知道，不知道robots 要怎么设置才能禁止抓取收录这样的网址页面
网站robots已经设置过Disallow: /*?* 这样禁止抓取动态页面的参数了，不知道还要怎么设置才能禁止抓取这样的因为搜索而出现的网址呢？
本人小白，刚做网站没多久，求大神解答，感激不尽！
这是中文被转码了吧
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/46259.html
