robots协议（也称为爬虫协议、爬虫规则、机器人协议等）也就是robots.txt，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令，故需要搜索引擎自觉遵守。一些病毒如malware（马威尔病毒）经常通过忽略robots协议的方式，获取网站后台数据和个人信息。


话虽如此，但是百度真的自己做到了遵守这个协议吗？ 大家怎么看？

话说我的社区站，之前由于操作失误，导致权重分流了，结果被K掉了好多排名，百度权重从4直接掉到2，然后到1

目前而已，仅收录而言，收录60%都是动态链接！

1、Robots只是一个协议，遵守不遵守看百度的想法，总体上来说还是遵守的；
2、目前存在的动态链接，可能是之前收录的链接，写好robots.txt后，慢慢的会删除掉；
3、如果不想动态链接被收录，就不要在网站为动态链接提供入口。

距观察，Robots.txt写了屏蔽抓取后，百度、谷歌、360都是比较严格遵守协议的，但一些站点会收录首页，不抓取内页，但soso和有道就是写了robots.txt协议屏蔽还是抓取。

收录动态页面可能是你的写法出了问题吧。

1.百度遵循Robots协议.

2.百度抓取网站页面不止通过你网站本身来实现.

百度是遵守Robots协议的，至于收录动态链接，是不是robots规则写的有问题，或者收录动态链接在robots屏蔽之前发生的。