网站蜘蛛日志很奇怪(悬赏8元)
[导读]:网站最近收录和关键词都在掉,去看了蜘蛛日志,看完后一脸懵逼 首先,状态码基本是301 其次,日志看到蜘蛛没到过html页面,大多都抓图片 301是跳转,你用日志分析的时候网...
网站最近收录和关键词都在掉,去看了蜘蛛日志,看完后一脸懵逼
首先,状态码基本是301
其次,日志看到蜘蛛没到过html页面,大多都抓图片
301是跳转,你用日志分析的时候网址前缀要用http,不要用https
###看一下蜘蛛来访次数多不多,如果多的话还可以
###建议用金花工具看看,可以删除假蜘蛛,比较方便
###
不奇怪,事实就是如此~
我的来的全部是假蜘蛛,我怀疑是不是被采集了,难受
###1、建议去百度站长后台的那个网站改版提交,这个有助于加快301效果
2、蜘蛛抓到301是因为你的面包屑导航是没有https的,还有些url也是,因为你们写了绝对路径
3、蜘蛛抓取大多数图片,可以在图片连接上加NF试试,还有就是多主动提交文章链接
4、关键词排名下降,可以看看友链是否出问题,因为百度算法更新,可能大部分外链失效,还有最近很多网站都会有排名波动,可以继续发文章看看效果
###和我的情况一样 我也不知道怎么处理 只会爬图片 HTML页面基本只爬首页
###吧https 去掉吧
###HTTPS://301的状态不完全,抓取都超时了。如没必要,取消301吧。
###我还想知道俄罗斯蜘蛛是什么鬼
###很显然这是做了301跳转啊,当然抓取不到链接的
看看你的Robots是不是禁止了。
###你域名是不是做了301跳转,可以用站长工具的http状态监测工具监测一下。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/67170.html