[导读]:百度蜘蛛模拟是这样 正常访问和谷歌蜘蛛模拟是这样 用超级蜘蛛工具查了一下,应该是被人挂马了,不仅百度,还有360和神马的蜘蛛,都是返回两套代码,估计是用了判断语句...
百度蜘蛛模拟是这样
正常访问和谷歌蜘蛛模拟是这样
用超级蜘蛛工具查了一下,应该是被人挂马了,不仅百度,还有360和神马的蜘蛛,都是返回两套代码,估计是用了判断语句,判断搜索蜘蛛与回普通访客访问,然后给出不同的代码。建议你去查看一下源程序,重点排查一些陌生的文件名。
你用自带的爬虫工具抓取试试,如果有乱码,赶紧想发解决吧,当然也不一定是被搞了,我抱有怀疑态度
1、建议去使用百度站长里面的抓取诊断;
2、抓取下看看百度蜘蛛会抓取什么;
3、使用工具抓取显示的是标题被编码和黑掉了,去看看你自己绑定站点的百度站长里面抓取诊断;
4、以百度站长抓取诊断为准,既然模拟爬行会出现这种,说明站点应该是被攻击了。
那肯定啊,浏览器不同,算法自然会不同
###算法不一样,爬行蜘蛛不一样
###学习中。。。
###现在没人关心谷歌的排名了,都被限制了
###搜索引擎不同
###学习中
###这个相差有点大啊
###百度跟google在标题上的蜘蛛爬取是不一样的,有时候标题不是在百度里显示的标题,百度只展现一部分
本来就不一样
###太搞笑了哈哈。百度爬到的是什么啊。他肯定应该爬title标签里的啊,哈哈
###坐好百度就行了,都不是一个算法
###不懂啊
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/127610.html