[导读]：robots 禁止抓取包含list的链接，百度仍然抓，是我写错了吗？ http://seo.seowhy.com/robot/用这个查询试试 ### Robots设置后，百度搜索蜘蛛识别需要一段时间。现在爬行，估计是这个文件...
robots 禁止抓取包含list的链接，百度仍然抓，是我写错了吗？
http://seo.seowhy.com/robot/用这个查询试试
###Robots设置后，百度搜索蜘蛛识别需要一段时间。现在爬行，估计是这个文件蜘蛛还没有识别。
至于robots文件设置是否正确，可以使用百度站长平台的 Robots检测下。
###
你是没写User-agent: *
还是没截图
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/28443.html
