背景:前段时间网站因换IP而被K,过后(10天左右)一直都没有百度蜘蛛的踪影。这两天突然在日志里面逮多一个180.76.5.*段的“百度蜘蛛”,查询IP显示的是“ 北京市 百度公司”。
在网上查询了下大家对于这个IP段的解释,大概分为三种:
1、百度考察期蜘蛛。
2、降权蜘蛛。(有一个人说他被K站里面全是这个蜘蛛)
3、百度人工。
还有一个比较特别的,很多人都说这个IP爬的是他们网站robots.txt文件。但是我网站的这个IP爬行的是内页
180.76.5.158 - - [18/Nov/2012:12:07:34 +0800] "GET /Vowel/category/refit HTTP/1.1" 200 12621 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
想请问下,有达人对这个IP段有所研究吗?这个IP到底是个什么东西?
点击电脑左下角的“开始”,
选择“运行”,
输入“nslookup”,回车,
在弹出的窗口输入你的那个IP,回车,会反馈一个name值
如果是百度蜘蛛的话,一般会是*.的形式。
问:虽然百度的官方不承认有降权蜘蛛的说法,但是例如:*段的蜘蛛出现,网站在排名、收录上快照、都会存在异常,是否可以理解为这段IP的蜘蛛虽然不是降权蜘蛛,但可以认为是自身网站出现了问题,百度对于网站的考察和警示呢?是百度对网站所提出的警告呢?
百度官方论坛Lee的回答:Baiduspider只有一种,不存在什么降权蜘蛛。不过你所提到的对网站的警示,我们会在站长平台中考虑。
百度不承认有什么降权蜘蛛。
我有一个才建了2天的新站,第2天有这个蜘蛛进来了
然后隔了12个小时就有一个百度蜘蛛 进来了
我的站每天都有,只是很少量,每天百度抓取量在2000多,这个蜘蛛也就来三次左右
###确定是百度蜘蛛,这个百度蜘蛛是好还是坏?
###支持陈红然 说的,你要观察下那个NAME值是什么,如果是百度的会有个*.的形式。如图
###这个ip貌似是假的的吧。 观察一段时间
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/26926.html