[导读]：如一个www.SEOwhy.com/5555/rrrr/2013/page/2伪静态目录， 想要屏蔽所有动态目录下的page文件不被爬取，robots.txt如何写呢？ 你既然能做伪静态，说明你的动态参数可以用正则表达式写出...
如一个www.SEOwhy.com/5555/rrrr/2013/page/2伪静态目录，
想要屏蔽所有动态目录下的page文件不被爬取，robots.txt如何写呢？
你既然能做伪静态，说明你的动态参数可以用正则表达式写出来，那样的话就发你的动态的比较好些Robots
###User-agent: *
Disallow: 星号/page/星号
动态地址一般带有问号【？】
好像是这样写如下
User-agent: *
Disallow:/5555/rrrr/2013/page/米？米 【米字代表*】 不清楚提交不显示
User-agent: *
Disallow:/page/
建议多看看百度：
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/20116.html
