大佬们，为什么写了robots还是不能禁止蜘蛛抓取？
[导读]：网站100个页面生成200多个链接。一半多都是重复的。我要怎么才能禁止蜘蛛抓取重复的？我想把重复链接写到robots里面，但是写了蜘蛛照样来抓，大佬们，这个robots应该怎么写才...
网站100个页面生成200多个链接。一半多都是重复的。我要怎么才能禁止蜘蛛抓取重复的？我想把重复链接写到robots里面，但是写了蜘蛛照样来抓，大佬们，这个robots应该怎么写才行啊？
这个跟你写不写没关系
###写不写是你的事，抓不抓是它的事。你写了也不一定可以禁止蜘蛛抓取……
###没卵用，蜘蛛不会遵守的，我都屏蔽了2个月依旧抓取！
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/73612.html
