[导读]：百度开始抓取天猫了吗？前不久360状告百度滥用Robots协议屏蔽360的蜘蛛，306无视Robots继续抓取百度内容，他们都围绕Robots协议闹得不可开胶。淘宝和天猫明确屏蔽百度蜘蛛 那个...
百度开始抓取天猫了吗？前不久360状告百度滥用Robots协议屏蔽360的蜘蛛，306无视Robots继续抓取百度内容，他们都围绕Robots协议闹得不可开胶。淘宝和天猫明确屏蔽百度蜘蛛
那个Robots.txt只是屏蔽 下面的。没屏蔽二级域名。
###
百度自己也不遵守Robots协议的
###大家得更加努力了！
###因为天猫有很多的二级域名，不可能屏蔽百度，出现搜索结果正常。
###这个抓取的是二级域名吧。
###一直是这样的吧 ，之前就发现收录很多了
###以前好像遇到类似的情况·····
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/20072.html
