我手里有个企业站，蜘蛛抓取首页的频率为1天20次，但为什么我首页的文章，蜘蛛不爬呢。从网站日志来看，蜘蛛爬了很多以前的页面，但是我首页最新更新的文章网址却不抓取，即便我在百度url提交平台提交了，还是不爬。

很焦虑，最近网站收录情况很不理想。请各位朋友支支招。
是发些高质量外链，但是他对首页抓取的还可以。

1.网站地图；
2. 发外链。
3.收录不理想，是否是原创的。
4. url提交不一定就会抓取的，要做好蜘蛛友好导航
5. 你的网站日志状态码返回是否正常。

网站地图做一下，同时，最新文章，除了首页展示，内页也要有一个展示的地方。
平时把网站上没被收录的URL列出，然后在站外，为这些URL引下蜘蛛。

这个应该是站点违背了搜索引擎的规律受到惩罚造成的，如下

1.不爬行最新文章，爬行老文章（数据回档）
2. 入库百度站长平台url，这个模块非嵌套与常规蜘蛛url库,拥有“是”“否”两种逻辑爬行可供选项

当然并不是说特定因素才造成这个结果，文章大量采集也会造成爬行老url不爬行新url，我们必须以固定现象为指标寻找相对可靠的现象，在这个问题上原因如上！
方法：
1.检测是否还有作弊现象
2. 加大更新力度
3. 减少文章重复度
3.减少链接幅度,并不是特别重要在处理这个问题上。
4. 等待下次更新，现在木有特别好的方法。

监控指标
1.最新文章url（数量，频率
2.蜘蛛日志爬行url（数量，频率

短周期
4,8,12,16

长周期
月，季，半年

自己匹配监控下，即可，一般做好即可恢复

上面两位说的都很在理，主要原因是没有让蜘蛛养成一个习惯，习惯的养成是需要时间的，你要不停的制造新页面，符合蜘蛛的口味，直到都能当天收录。现在的工作是尽量制造内容，然后引诱蜘蛛。