[导读]：禁止抓取网址URL，网站robots禁止抓取某个链接怎么写？具体如何操作，哪位大神指点一下，我想禁止不让抓取页面的URL，禁止后蜘蛛也不抓取了，也不收录了？ Disallow: / 然后后...
禁止抓取网址URL，网站robots禁止抓取某个链接怎么写？具体如何操作，哪位大神指点一下，我想禁止不让抓取页面的URL，禁止后蜘蛛也不抓取了，也不收录了？
Disallow: /
然后后面是你不想搜索引擎抓取的目录
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/109982.html
