首页 > 问答 > 百度蜘蛛爬行数量十一以后暴涨10倍, 会是什么好事吗(悬赏1元

百度蜘蛛爬行数量十一以后暴涨10倍, 会是什么好事吗(悬赏1元

[导读]:十一前百度蜘蛛每天来200多次. 十一节后突然连续多天每天3000多次百度蜘蛛 收录目前没有明显增加, 会是什么好事吗? 【官方说法】百度蜘蛛抓取流量暴增的原因 Spider对网站抓取...

十一前百度蜘蛛每天来200多次. 十一节后突然连续多天每天3000多次百度蜘蛛

收录目前没有明显增加, 会是什么好事吗?

【官方说法】百度蜘蛛抓取流量暴增的原因

Spider对网站抓取数量突增往往给站点带来很大烦恼,纷纷找平台想要Baiduspider IP白名单,但实际上BaiduSpider IP会随时变化,所以并不敢公布出来,担心站长设置不及时影响抓取效果。百度是怎么计算分配抓取流量的呢?站点抓取流量暴增的原因有哪些呢?

总体来说,Baiduspider会根据站点规模、历史上网站每天新产出的链接数量、已抓取网页的综合质量打分等等,来综合计算抓取流量,同时兼顾站长在抓取频次工具里设置的、网站可承受的最大抓取值。

从目前追查过的抓取流量突增的case中,原因可以分为以下几种:

1,  Baiduspider发现站内JS代码较多,调用大量资源针对JS代码进行解析抓取

2,  百度其他部门(如商业、图片等)的spider在抓取,但流量没有控制好,sorry

3,  已抓取的链接,打分不够好,垃圾过多,导致spider重新抓取

4,  站点被攻击,有人仿冒百度爬虫(推荐阅读:《如何正确识别BaiduSpider》)

如果站长排除了自身问题、仿冒问题,确认BaiduSpider抓取流量过大的话,可以通过反馈中心来反馈,切记一定要提供详细的抓取日志截图。

###

蜘蛛暴增的原因可能如下:

1、Baiduspider发现站内JS代码较多,调用大量资源针对JS代码进行解析抓取  

2、百度其他部门(如商业、图片等)的spider在抓取,但频次数量没有控制好,sorry  

3、已抓取的链接,打分不够好,垃圾过多,导致spider重新抓取  

4、站点被攻击,有人仿冒百度爬虫  

题主可以自行判断下

###

查看蜘蛛抓取是什么内容,然后做相应的调整

###

突然暴涨大概率不是好事,以为我的经验来说,你很可能被镜像了,或者被黑挂马了,一些恶意程序正利用你的目录快速繁殖页面,赶紧检查下,看看收录里是否有一些莫名的词和页面,点击进去后还会跳转到其他页面的。

###

真没想到,百度蜘蛛还有真假之分.......

学习了。

###

最好做详细了解,突然暴涨应该不是什么好事

###

福兮祸之所伏,祸兮福之所倚。

###

确定一下蜘蛛的ip段,nslookup查看一下是否是百度真实ip。如果是,也不要高兴,看看是降权蜘蛛还是沙盒蜘蛛或者其他蜘蛛。

可以看看不同IP蜘蛛的含义,作为参考。

如果是假冒蜘蛛,需要谨慎了,将对应ip屏蔽。

###

一下子暴增肯定有问题的

###

怎么分真假蜘蛛?

###

分析一下是不是真的蜘蛛

###

是百度的蜘蛛吗

###

查看服务器日志,分析一下蜘蛛的ip

###

现在抓取频次都停了

###

学习学习

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/89076.html