首页 > 问答 > 论蜘蛛重复爬取日志

论蜘蛛重复爬取日志

[导读]:最近在分析网站日志的时候发现一个奇怪的现象,在同一时间,同一文章被百度蜘蛛爬取了两次,这是什么意思?直接上图,大家以图说话,看看是网站的问题还是蜘蛛的问题...

最近在分析网站日志的时候发现一个奇怪的现象,在同一时间,同一文章被百度蜘蛛爬取了两次,这是什么意思?直接上图,大家以图说话,看看是网站的问题还是蜘蛛的问题



楼主,这个问题很蹊跷。其实你细细分析一把,在日志左侧位置,是来自于同一行(Line),因此不用担心这个问题。只是软件显示而已。

建议用其他指蜘蛛日志分析软件,光年日志分析器等 都比较好用。若不嫌麻烦,可以打开txt,这样最为保险。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/19209.html