我想不让蜘蛛抓取网址结构是：域名/index.php?s=/vod-type-id-1-type--area-%E7%BE%8E%E5%9B%BD-year-0-star--state--order-hits-p-52.html

就是/index.php?这样带问号的动态网址，这样的 访问已经都是404了，所以得写个禁止蜘蛛抓取

我写的robots是  Disallow: /*?*  这样网址结尾是.html，这条限制语句能不能禁止让蜘蛛抓取呢

如果写的不对，麻烦大佬们给个正确的

学习

我自己不会判断怎么写对，所以如果遇到这种个别页面需要屏蔽的，我就直接放域名后面的整个网址了。写完去资源管理平台试试是否还能正常抓取，以此来验证自己写的是对还是错

不一定会遵循Robots呀

我的网站一直想搜狗来抓取 但是都不肯来 难受

Disallow: /*

这样可对啊，老铁们