帝国的CMS默认的Robots

但是我看了一下，网站的源码，CSS和一些JS都在放D目录当中！

这样的话，也有收录，排名不够好！这个有没有影响？是否需要调整，怎么调整？

本身蜘蛛不会抓取你的CSS和JS文件，没有关系

不用调整，这样就行了，因为即使你这样设置了，百度该抓取还是能正常抓取的所以正常优化就行了，站内站外做好就行了

没毛病，，你看看我的砂石分离机网站就明白了

没有影响，并不需要调整。

这东西写不写没啥关系

现在好像都不设置Robots了

没啥毛病

百度蜘蛛爬去CSS和JS包括后台，但百度蜘蛛是被设置过的它不抓取这些内容

小站的话，不写都不要紧的。我以前写的，后来都删掉了

写不写无所谓的

现在的百度蜘蛛精着呢，就算你写了disallow它还是回去爬取，事实上小站的话，写不写问题不大，不会有什么影响的。

1、Robots的功能是为了节省蜘蛛的抓取时间；

2、一般企业站，用模板默认的即可，只要robots没有拒绝抓取网站内容页就ok；

3、一般情况下这个操作没啥影响，你要是想让蜘蛛抓取css，那就把拒绝d这个取消即可；

4、robots的重点是千万不要disallow你想收录和爬行的页面。

正解

1、Robots的功能是为了节省蜘蛛的抓取时间；

2、一般企业站，用模板默认的即可，只要robots没有拒绝抓取网站内容页就ok；

3、一般情况下这个操作没啥影响，你要是想让蜘蛛抓取css，那就把拒绝d这个取消即可；

4、robots的重点是千万不要disallow你想收录和爬行的页面。

不需要调整的

用默认的就行