请问一下新站在测试阶段尚未正式上线，如何禁止让各大搜索引擎抓取？目前有了解过使用robots协议，但不知道怎么设置。求详细解答！谢谢各位~

User-Agent: *
Disallow: /

开始的时候的确可以了，不过还有更多用法，比如日志里发现莫名其妙的蜘蛛占用重要蜘蛛的资源，或者动态参数占用了抓取额度

那就需要屏蔽掉 ?

Disallow: /?*
Disallow: /?

不想让百度没事抓JS

Disallow: /*.js$

在百度站长平台工具有很全面的Robots说明，瞎写的两条规则纯属装逼

直接

User-Agent: *
Disallow: /

就好了啊，我们之前就是这样子，正式上线后把Robots去掉就OK了

不过就算这样，我们还是被强行收录了几个页面，应该是程序建站的时候的问题

建议先解析个二级域名测试，并在Robots中屏蔽所有搜索引擎，等正式上线了，再解析正式域名。
假如你要先屏蔽正式域名，后期再放开，百度的龟速反应，你懂得。

到百度统计后台先关闭站点

直接写规则就好了

User-Agent: *
Disallow: /

Disallow: /你的域名/ 这里定义是禁止爬寻域名所有目录