我的日志头部第一行是这样的

Software: Microsoft Log Parser

Version: 1.0

Date: 2014-07-21 01:01:02

Fields: LogFilename RecordNumber ComputerName SiteID DateTime ClientIpAddress ServerIpAddress ServerPort Method ProtocolVersion ProtocolStatus SubStatus TimeTaken BytesSent BytesReceived Win32Status UriStem UriQuery UserName

d:\iislog\W3SVC\ra140720.ibl 360 EWWW6-C5D621BC4 2450000 2014-07-20 00:05:33 183.60.214.121 101.226.241.168 80 GET HTTP/1.1 404 0 31 2577 1397 2 /ProDisplayDetail.html id=69 -
我用光年日志分析，和日志宝都不支持 我这种日志，自己在excel里分析，总不能各个IP 都自己去查吧，而且所谓的IP段也不是那么准确，所以想问下大家有没有好的办法呢？其实我看日志也是为了查蜘蛛是不是爬了404页面？但是感觉用xenu这个工具不是特别的好，大家有什么好的工具推荐没？

这个跟网站搭建的环境有关系吧。
有的是IIS，有的是APACHE，可能你的网站环境跟平常的不一样。

###

如果网站日志没有蜘蛛痕迹，你可以通过搜索404和查看网站日志中的抓取链接的方式来判断自己的网站是否存在问题，是否存在抓取不全面的问题。
软件的话，手里没有什么好的软件。。