[导读]：今天看日志分析，发现比如百度抓取13000，但是首页百度却只抓取了13个，这个是为什么啊？ 为什么首页百度却只抓取比例太少？这个正常吗？ 原因在哪里？ 仅从首页抓取数量...
今天看日志分析，发现比如百度抓取13000，但是首页百度却只抓取了13个，这个是为什么啊？
为什么首页百度却只抓取比例太少？这个正常吗？
原因在哪里？
仅从首页抓取数量是看不出有没有问题的，先看下当天有多少个不同IP段的baiduspider来访，正常情况下应该和首页抓取次数相差不多，也就是说每个蜘蛛平均抓取首页1次。
另外不一定首页抓取次数少就有问题，假设你网站首页抓取次数1000，但每天来访的蜘蛛就20个，掐指一算，平均每个蜘蛛抓取首页50次！哇~这重复抓取率也忒高了。
另一种情况就是首页抓取次数远小于蜘蛛数量，这一般有两种可能：第一种是网站首页基本不咋更新；第二种如果内页抓取次数跟首页一样在减少，在分析是因为服务器阻塞了？网站有过更改？还是降权了......
（ps:以上情况要看整体趋势，一两天证明不了啥）
1.首页大部分会是蜘蛛抓取网站的入口
2. 进来之后如果没有有效的内链系统，蜘蛛会一直抓取下级页面直到抓到底就离开
3. 所以从首页抓取次数可一大致的直到蜘蛛每天来访几次，这也是蜘蛛的抓取频率，能做什么大家都懂得。
4. 分析日志最好人工吧，你这样很多问题找不出来。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/17031.html
