[导读]：百度原文：http://tieba.baidu.com/p/4168875553 所有带百度统计js的页面，在被访问时，页面URL立刻自动提交至百度搜索引擎。 那么我在robots里面屏蔽的链接会不会被百度抓取只是不显示...
百度原文：http://tieba.baidu.com/p/4168875553
所有带百度统计js的页面，在被访问时，页面URL立刻自动提交至百度搜索引擎。
那么我在robots里面屏蔽的链接会不会被百度抓取只是不显示描述呢？
以前出现过屏蔽了robots还是被抓取。
Robots屏蔽的文件，搜索引擎遵循的情况下，是不会去抓取的。
不过百度这边不是特别遵循，经常出现抓取的情况。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/38939.html
