今天在百度站长工具中看到某个网站（www点zstaisen。com）提示消息：
很可能是您的网站错误的配置了robots.txt，请检查您网站的robots.txt是否错误的封禁了百度，如确认配置错误请对robots.txt并进行修改
以下是设置的具体信息：
User-Agent: *
Disallow: /apps/
Disallow: /libs/
Disallow: /sysadm/
Disallow: /config/
Disallow: /themes/
Disallow: /uploads/
Disallow: /cache/
Disallow: /db/
Disallow: /docs/
Allow: /

在网上也查询了下robots相关信息，但是不知道怎么去修改？哪些路径应该让蜘蛛爬行？哪些路径应该禁止？还请了解这一块的大侠多多指点。

PS:公司的很多网站使用相同的CMS系统，robots设置基本一样，因此很多网站都出现了robots设置问题。以下是上面案例网站登录FTP进去后的根目录

Robots禁止的内容一般是：你不希望百度收录的文件，如css和后台的文件。
从你的robots来看你网站在插入图片的放在/uploads/这个文件夹下，而禁止了你试下去除Disallow: /uploads/这个项，看下还有吗

没有对百度爬虫进行封禁
2. 到底开放哪些页面让爬虫抓取，要从你们网站的用户需求以及对应的内容来分析，外人帮不了你，除非你开放网站上的数据。

其实网站没有什么秘密 不设置Robots都是可以的，
禁止css和后台之类的数据文件，
开放希望用户能看到搜到的路径。