[导读]:最近分析网站日志,发现抓取的很多页面是以showtopic.aspx结尾的,然后加入前面完整的域名访问是不存在的页面,后面发现有一段参数topicid=4874forumpage=1typeid=-1page=2 我们知道路径...
最近分析网站日志,发现抓取的很多页面是以showtopic.aspx结尾的,然后加入前面完整的域名访问是不存在的页面,后面发现有一段参数topicid=4874&forumpage=1&typeid=-1&page=2 我们知道路径传递参数是与真实路径之家会有个“?”符合进行连,正确的是应该是showtopic.aspx?opicid=4874&forumpage=1&typeid=-1&page=2 ;但在日志里面却发现省略了这个“?”链接符合;这个页面是论坛内页的翻页页面,所以在抓取统计里面抓取量最多的是以showtopic.aspx,请问这个是正常的吗?便于理解,附图如下:
在了,是这样的IIS 记录日志时URL和参数是分开记录的,URL和参数之间的?号是不记录在文件里而是当做两个不同的字段来存放URL和参数。大部分日志工具未对这个做判断,所以会有异常。
AD:大家可以使用金花站长工具中的日志分析功能,这个工具是能自动拼接URL和参数的,方便大家检查日志。
这个问题我也纠结中。特邀日志分析高手,金花日志分析的创始人,@肖俊 来回答下。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/21303.html