我的网站都没有写过robots文件，sitemap有一个页面。放的都是网站频道、栏目入口。
最近考虑做一个工具，每日生成一个静态文件，提交给百度。
不知道大家都是怎么处理的？

Robots是一些敏感页面不想搜索引擎搜录比如（cgi-bin文件）和 在大量无效或者不被搜索引擎抓取也没关系的一些内容在被抓取的时候占用服务器资源的时候需要使用robots进行一些屏蔽。等等吧不明白可以去百度官方看有详细的解释robots作用，看看知道了
你网站没这些问题不写也没事。

一般基本都会写的，真不写也没什么事

当搜索引擎访问一个网站的时候，会第一访问Robots.txt这个文档，Sitemap要写在这个文档里，可以使用Sitemap生成器制作一个xml的网站地图，上传到根目录上，最后去百度站长平台提交sitemap，选择数据更新的时段，这样就会每天都有更新了。如果想把网站优化做到极致，建议写robots。