最近在弄这个，不清楚有效果没有，故此来让各位大神帮助！

先遵守Robots，然后才通过首页的url爬的吧，我想如果你的地图又不在robots里面说明，又没有链接指向它，而且也没有外部连接告诉蜘蛛你的地图位置。。。蜘蛛应该不会爬你的地图吧？

百度并不是去爬你网站的根目录。

Robots协议是所有搜索引擎需要遵守的协议，因为网站是个人或者企业拥有的，所以就有属于个人或者企业私有的内容，所有权拥有者有权不对外开放。所以robots就是这样的规定，例如：支付宝页面，网银页面等等。

说这些只为证明，搜索引擎的抓取系统，例如百度蜘蛛就必须对任何一个域名的robots进行访问。

返回正题：百度只为了爬取，www。XXX。com/robots.txt这个URL。
网站地图也是一样，www。XXX。com/Sitemap。html、txt、xml这3种形式的URL。

百度蜘蛛爬取并不是去爬根目录。其实目录结构也正是URL的结构。但是蜘蛛并不能进入网站空间

爬取你的根目录太吓人了吧，蜘蛛有那么厉害吗？还有进入你空间的权限了，楼上的还真会说笑

会爬的，而且在Robots文件里面指定Sitemap也是有效果的，你可以加上，然后过段时间查看网站日志文件，就能够得到答案了。

当然会爬啊，蜘蛛会根据你的Robots文件书写规则对你网站对于的目录进行抓取，另外Sitemap对应的链接最好也放到robots文件里面，然后把Sitemap也提交给搜索引擎一下。

会爬的啊 有时候你要做相应的对策来吸引蜘蛛来爬取 有的内容和页面 可以设置不被爬取。比方说网站地图 还有一些无关的页面

不仅仅爬，还会很有效果，注意Robots文件名要小写。在robots中也要增加Sitemap的相关文件链接地址。

谢谢邀请。一个字回答你 爬

所有内容都是在根目录下的，你说爬不爬

这个规则，都是遵守的吧。