请问各位大神，百度蜘蛛喜欢抓取什么样的url呢
这里说明一下，不管是列表页，还是文章页，百度蜘蛛喜欢抓取什么样的url？
比如：
http://www.SEOwhy.com/abc/
http://www.SEOwhy.com/abc/123.html
请教各位大神，以上列表页和文章页，到底百度蜘蛛喜欢抓取什么样的url

谢邀请，一般，第一个是栏目页，第二个是内容页，这是很符合大部分网站URL标准化的，百度都会抓取到，利于收录的话，大部分新站会先收录主地址，然后是内容页，最后才是栏目页，这可能就是主地址权重给予的高，内容页内容好，而栏目页为什么最后收录，这可能与@杨营所说，重复高，单一，甚至不喜欢所致，我们浏览习惯先是主页，然后主页上面的内容页，最后找的话才会去翻栏目页。。。对吗？

两者没有区别的，只是一个url规范化的问题

以上两个都可以爬取，只不过列表页http://www.seowhy.com/abc/ 这种形式，容易导致一定的重复，在百度收录的过程中，会较慢一些，而文章页的收录较快一些，是因为文章页有着丰富的内容以及原创性、时效性。所以文章页收录要快一些。
如果是以目录的形式直接展现的文章页同样也会被快速收录的。这最主要的还是要看内容与质量。

没有所谓的绝对好与坏，我个人认为可以从这么几点考虑：
1. 百度抓取网页难道是看你的URL吗？
2. 百度也好，其他搜索引擎也好，有没有URL的硬伤？
3. URL到底是给用户记忆，还是给搜索引擎抓取，是为了实现功能，还是为了便于理解？
4. 你自己喜欢什么样的URL？
我个人而言，更喜欢末尾是.html的网页，虽然我们谈SEO，但首先我们自己就是网民。
URL一般不是为了给用户记忆，我试过把URL做成xxx/post_id的形式，并且告诉读者以后记得直接这样访问这篇文章哦，结果谁都不理你。。
有的时候URL是为了实现功能，例如我看到一些微信商城的URL乱的不成人样，但是三为了传递很多信息。
实际上我也看到谷歌也提倡不一定非得要静态化，因为不好理解。你如果把url写成?article_id=123，那么就很好理解。
搜索引擎抓取某一个页面的时候，只要URL的长度不至于太长，就不会有硬伤，大家说目录深度不要太深，我个人觉得对搜索引擎而言完全没有问题，说深度太深是指要要到达目标页面要经过每一个目录，这样肯定不好，但是我们现在都会在首页或文章页直接加一些链接，内链三网状的，不是树形的，所以，我觉得深度太深的说法误导了很多人。
百度对一个网页的抓取不是看URL，而是看进入这个URL的链接，说的直白点，就是外链。排名也不是看URL。只不过会出现一个问题，例如你的url有?article_id=123&page=3和?page=3&article_id=123其实内容三一样的，URL却不同，这就会导致搜索引擎难以判别哪一个URL是权威的，应该给更高的权重，因为搜索引擎不可能把两个实际上内容相同的URL都在首页显示，对吧。

第一个是目录，第二个是html文件，都是一样的,百度都喜欢。
百度不是很喜欢动态的URL结构，如：http://www.seowhy.com/？/s?wd=2

只要路径不会过深，百度蜘蛛都喜欢！这是我亲测的！
http://www.seowhy.com/1/2/3/123.html 这样就会稍好点，静态文件！
但是如果是下面这样，几乎就不会收录了，当然，你权重很高除外：
http://www.seowhy.com/1/2/3/123

url规范 简短就好