首页 > 问答 > 蜘蛛抓取异常

蜘蛛抓取异常

[导读]:新站十三天了 一直不收录,今天查看了下百度站长平台 看了下     服务器错误:爬虫发起抓取,httpcode返回码是5XX 访问被拒绝:爬虫发起抓取,httpcode返回码是403 找不到页面...

新站十三天了 一直不收录,今天查看了下百度站长平台 看了下 

12  

23

254

服务器错误:爬虫发起抓取,httpcode返回码是5XX

访问被拒绝:爬虫发起抓取,httpcode返回码是403

找不到页面:爬虫发起抓取,httpcode返回码是404

然后看了下日志 没太看明白

QQ图片20200505220418

问题有两个  第一这种抓取异常怎么处理还是服务器设置问题 走哪里着手修改

第二这个日志跟抓取异常有关联吗

显示有287个网站异常呀

###

模拟抓取下 百度有时候是这样

###

1:通过你的截图来看蜘蛛没有在你网站上遇到这些问题,一般出现异常会在这里显示线条图,线条图中会有抓取错误数量的记录,而你目前这几个数据都是空的,所以不用担心抓取问题。

2:新站13天时间还比较短,平时将精力放在站内外的建设方面,网站内容充实的时候蜘蛛会抓取比较多,平时多做一些内外链操作,让蜘蛛有更多的抓取入口,这样到了后期你网站的收录也会加快。

###

要是还不收录,百度站长做个主动提交吧

###

可以用模拟抓取工具抓取下,如果能抓到就没事

###

你这个抓取没有异常,别听他们瞎说,这个只是告诉你,如果抓取异常会出现的状态码而已,你可以用一些工具分析下日志,查看蜘蛛状态码是否有404即可,有的话建立一个txt文件放在目录根部,百度站长后台死链提交一下就行

###

多更新内容

###

继续优化就行  首页未收录

###

你这是服务器有问题,好好检查一下。。。

###

多提交  没数据就是这样

###

查查看

###

1、你的百度站长这块数据都是空白,是正常的,不要自己吓自己;

2、新站十三天首页未收录,你可以用百度抓取诊断,抓取下,看是否能够抓取成功,访问网站是否能打开,有无跳转或者不安全网页的呈现,这些基础都能打开,那么你直接百度站长哪里反馈,人工反馈请求抓取下首页即可;

3、日常持续稳定优化。

###

检查服务器

###

你这是服务器有问题,好好检查一下

###

如果确定服务器没问题的话,就是百度的原因

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/127776.html