[导读]：想用robots.txt来禁止蜘蛛抓取一些无用的东西！为搜索引擎提供一个简洁明了的索引环境，提高权重，但我的网站robots.txt却没有禁止！我的网站我该禁止哪些东西呢？大神不吝赐...
想用robots.txt来禁止蜘蛛抓取一些无用的东西！为搜索引擎提供一个简洁明了的索引环境，提高权重，但我的网站robots.txt却没有禁止！我的网站我该禁止哪些东西呢？大神不吝赐教。
把一些对网站没有什么意义的链接，例如：网站后台
具体的Robots写法 ，可以参考：
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/39910.html
