首页 > 问答 > 网站空间日志分析问题?

网站空间日志分析问题?

[导读]:昨天在搜外提了一个问题,得到了解决,在此非常感谢! 这里另有一些日志分析的问题还想请教下: cs-uri-stem 下的 / 是不是表示蜘蛛来首页抓取? sc-bytes 的字节数 是不是就是...

昨天在搜外提了一个问题,得到了解决,在此非常感谢!
这里另有一些日志分析的问题还想请教下:
cs-uri-stem 下的 / 是不是表示蜘蛛来首页抓取?
sc-bytes 的字节数 是不是就是表示蜘蛛抓回去的字节,因为网站这两天的日志查询里出现了很多蜘蛛抓取状态码为200 但是 sc-bytes 为0. 是蜘蛛没有抓取到内容吗?一般是什么原因造成的?
time-taken 下的数字 能反应什么? 例如140 125 93 这样的数字能表达出什么样的信号?

例:2014-07-06 15:46:48 GET / - - 220.181.108.80 HTTP/1.1 Mozilla/5.0+(百度蜘蛛) - 200 0 125

2014-07-06 15:45:39 GET / - - 123.125.71.19 HTTP/1.1 Mozilla/5.0+(百度蜘蛛) - 200 0 93

2014-07-06 10:41:14 GET / - - 123.125.71.25 HTTP/1.1 Mozilla/5.0+(百度蜘蛛) - 200 0 140

你给出的这些数据真让人头痛,叫人家如何回答你?请说清楚一点:

比如:200 0 140 对应的标识是哪个?

看下面最基本标识,一一对应分析

sc-status 304 :协议状态(200是正常的 404 是找不到文件,304未改变)
sc-substatus 0 :协议子状态
sc-win32-status 0 :win32状态
sc-bytes 140 :发送的字节数
cs-bytes 358 :接受的字节数
time-taken 120 :所用时间(毫秒计算的)低于1毫秒显示为0

举个例子:
200 0 0 3600 358 120 所表达的意思就是:
返回200正常(成功抓取),3600发送的字节数,358接受的字节数 120所用时间。

回到你的问题:

1、cs-uri-stem 下的 / 是不是表示蜘蛛来首页抓取?——cs-uri-stem 只是定义抓取的URL标识并无首页、栏目页、内页之分。

2、sc-bytes 的字节数 是不是就是表示蜘蛛抓回去的字节,因为网站这两天的日志查询里出现了很多蜘蛛抓取状态码为200 但是 sc-bytes 为0. 是蜘蛛没有抓取到内容吗?一般是什么原因造成的?——你返回代码都是200了就是说成功抓取了,而你看到的 sc-bytes 为0那肯定是你看错了对应标识,0应该不是sc-bytes对应值而是HTTP/协议返回值0。

3、time-taken 下的数字 能反应什么? 例如140 125 93 这样的数字能表达出什么样的信号?
time-taken上面有说:所用时间(毫秒计算的)低于1毫秒显示为0;140 125 93 就是抓取所用的时间。

总结:你的日志——2014-07-06 15:45:39 GET / - - HTTP/ Mozilla/(百度蜘蛛) - 200 0 93

可以这样解析:2014-07-06 15:45:39 百度蜘蛛通过HTTP/协议(返回值0)成功(返回200)抓取某一URL所有时间93毫秒。

希望你能看得懂,不懂随时发问!

###

200 0 0可能是蜘蛛来到这个页面了,但是页面反应很慢,导致蜘蛛直接走了

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/26322.html