我最近无意间突然想看看那些阿里腾讯等牛逼企业的网站的robots文件。
在看了夫唯的http://ask.SEOwhy.com/question/12905搜索规则和http://ask.SEOwhy.com/question/12866
两篇文章后，我看了微信的robots，不知道是不是很无聊。
我在搜狗搜索微信文章，点开链接都是mp.weixin.qq.com/mp
在mp.weixin.qq.com/robots.txt下写着禁止抓取mp目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /mp/
这是为什么原因？
链接有mp/appmsg/show?__biz=...............
也有 ?biz=................
这。。。。。。。。。。

查看了下，确实有这种现象，不过日期显示三个月之前的是带有/mp/目录的，两个月之前的都没有带。
我估计搜狗这边应该是为了丰富页面内容，违反Robots规则这样做的。

关于Robots，我也搜索了一下，URL中有mp的目录的似乎没有看到，不知你是如何搜索的，可否提供一下截图？

这是mp截图，基本上都是这样的链接内容：