网站 robots是禁止抓取？

作者：qidian com • 时间：2020-03-09 • 问答 • 来源：收流量 • 阅读

[导读]：我以前有个站，建站期间robots禁止了所有抓取，百度还把我首页收录了。首页禁不了的 ### 那你还不如先闭站呢 ### 没有吧 ### 首页禁不了的...

我以前有个站，建站期间robots禁止了所有抓取，百度还把我首页收录了。