年初闲的无事更换了一下域名，把网站迁到了一个域名的二级目录下,然后也没有设置robots等东西。然后网站迟迟没收录。上周末闲着无聊在根目录下放了一个robots文件，指引了一下sitemap的位置，然后网站被收了10个页面，然后今天神奇的我那关键词又回到百度第二了
robots的作用真的是这么大么？还是我凑巧了...

Robots.txt指明搜索引擎不应抓取哪些页面，对于SEO的作用是提高蜘蛛抓取效率，引导蜘蛛抓取有价值的页面，有益的影响主要是提高收录率，对排名没有直接影响。robots的作用视网站情况而定，拥有庞大筛选条件的网站自然要比博客站点更重视robots.txt。

个人觉得说大不大！！但是又不可以忽视！！