User-Agent: *
allow: /a/
allow: /b

请各位详细解释第一行与第二行的却别！

注意路径后面加斜杠和不加斜杠的区别
如果目录后边带斜杠，那么访问不带斜杠的地址时还是可以访问目录首页，如果想屏蔽掉整个目录，建议不带斜杠

Disallow: /a/ 这个表示禁止搜索引擎抓取 这个目录所有文件
Disallow: /b 这个表示的意思是，禁止所有搜索引擎抓取含有b开头的所有文件类型的目录如：假设

www . xxxx . com/b111/ 是你的后台管理文件目录，你不想让搜索引擎抓取收录，你就可以使用Disallow: /b 就是表示不让抓取 /b111/ ， /byuiyu22/ 这样的文件。

补充：这样写的好处就是 别人通过 Robots.txt 查看时就不知道你的后台目录文件以及你重要的文件目录是什么了，只是为了安全起见。

当使用Allow，搭配Disallow才是完整的，你这样写的robots.txt 和robots为空的文件是一个道理。

第一行：允许所有搜索引擎蜘蛛爬行/a/这个目录下的文件。

第二行：允许所有搜索引擎蜘蛛爬行/b整个目录。

我自己也不确定，请高人指点迷津！