[导读]：在进行googlerobots测试的时候发现，Dissallow: /about禁止不了google的收录，只有Dissallow:/ about （前后是两个星号，貌似现实不出来）这种才能禁止，不知道各位检验过没有，并且我的...
在进行googlerobots测试的时候发现，Dissallow: /about禁止不了google的收录，只有Dissallow:/about（前后是两个星号，貌似现实不出来）这种才能禁止，不知道各位检验过没有，并且我的网站的Dissallow: /about下面的页面已经被收录，会不会其他蜘蛛也这样？
其实这是你写的Robots.txt的问题
Disallow:
该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/、/、/help /，而"Disallow:/help/"则允许robot访问/、/，不能访问 /help/。"Disallow:"说明允许robot访问该网站的所有url，在"/robots.txt"文件中，至少要有一 条Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。
也就是说你的这种禁止方式，是可以访问该目录下文件的。
应该是你的编码问题吧，百度和谷歌都有站长工具可以检测Robots的。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/17834.html
