User-agent: *

Disallow: /

User-agent: *
Disallow: /?
之所以出现是因为一开始上线，还在测试修改，所以禁止过蜘蛛抓取，后来进行了开放，技术那边由于习惯性问题，直接使用#进行注释，后来百度确实有收录，今天该域名都都还有收录。

2、x.abc.com这个二级域名下的robots.txt内容为。

User-agent: *

Disallow: /?

User-agent: *
Disallow: /
由于这个二级域名一开始有收录，后来由于大部分内容不希望蜘蛛抓取，就进行了整个二级域名的蜘蛛抓取。也是技术那边由于习惯性问题，直接使用#进行注释，但是百度的收录反而越来越好。其二级域名首页的快照还是今天的，同时具有描述。（这句：由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述。更加没有出现）

以上两个robots.txt上一次修改都是在2014.10月修改的。（目前采用了最简单的处理办法，把注释行直接删除。）

想问问百度对robots协议到底支不支持“#”等注释性语法。

百度在这方面有官方文档，自己去看看

###

目前Robots.txt协议中没有 # 这样的语法，所以我认为它暂时是不支持的。

本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/32941.html