建一个 robots.txt 里面什么也不写 是什么意思？

是不是允许任何搜索引擎抓取任何内容。

首先你要明白Robots.txt协议

你可以通过robots.txt协议制定蜘蛛可以抓取那些文件，不可以抓取那些文件。

百度官方：仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。

注意：如果你robots.txt是空白的，什么都没有写，代表着默认允许各类搜索引擎抓取！

Robots.txt什么也不写等同于没有 robots.txt，表示允许搜索引擎抓取网站的全部内容。

空着一定是不对的。若对爬虫抓取有一定了解，就会知道Robots.txt被抓取次数比较频繁，那为什么不在里面填写上 Sitemap呢？这么好的资源不利用。

什么都没写的话，表示全部搜索引擎都可以抓取所有的页面。

1.空Robots文件代表允许抓取所有内容。

2.建立空robots.txt的原因，我猜测是避免出现搜索引擎抓robots的时候出现404吧？

容许抓取的意思吧

Robots.txt为搜索引擎提供指引。Disallow为禁止，Allow为允许，User-agent为定义搜索引擎的类型。