我的朋友给我的一个网站，我看了下根目录下面有个robots.txt,里面的内容是：
User-agent: *
Allow:
Allow: /?
Allow: /domains/erpkingdee.com/public_html/
Sitemap: http://www.erpkingdee.com/sitemap.xml

有的网站，不想让蜘蛛抓取某些内容，就将这个内容的规则写在Robots里面。比如一些动态链接，JS，或者死链接等。

一般正经做seo的网站都会有robots文件，这个文件是减少蜘蛛抓取没有必要的内容，你说的这个网站的robots写和不写没有什么区别。

你要是不写，默认的是搜索引擎可以抓取任何页面。如果你不想让抓取某些页面可以写成Disallow：规则

你可以查看下http://www.seowhy.com/robots.txt

一般网站都有Robots.txt吗？

你朋友写错了吧，这样写的话。跟不写区别不大啊

写了相当没写，允许全部搜索引擎访问任何页面。