[导读]:刚接手网站,早上从FTP上下载了网站日志,直接用光年分析出数据,打开后发现没有任何蜘蛛的抓取,而且网站日志还是两天前的,网站日志部分内容如下: Software: Microsoft Lo...
刚接手网站,早上从FTP上下载了网站日志,直接用光年分析出数据,打开后发现没有任何蜘蛛的抓取,而且网站日志还是两天前的,网站日志部分内容如下:
Software: Microsoft Log Parser
Version: 1.0
Date: 2013-03-19 00:26:00
Fields: LogFilename RecordNumber ComputerName SiteID DateTime ClientIpAddress ServerIpAddress ServerPort Method ProtocolVersion ProtocolStatus SubStatus TimeTaken BytesSent BytesReceived Win32Status UriStem UriQuery UserName
d:\iislog\W3SVC\ra130318.ibl 975 USER-C5B039C18F 1169520000 2013-03-18 00:01:17 178.154.178.249 182.16.2.18 80 GET HTTP/1.1 200 0 2609 33512 293 0 /item/list.asp id=26&page=3 -求解释下
你使用的这个空间日志没有记录蜘蛛爬行的功能.找空间商问下看能开通不.不行就要自己用第三方软件来记录
###一般是这么几个情况:
1.蜘蛛确实没来,需要引蜘蛛;
2. 蜘蛛被拒绝,检查Robots;
3. 网站有大改动,耐心等待;
然后最主要的情况,如你所言任何蜘蛛都没有来的话,请先联系你们网站空间的服务商。看服务设置是否有问题,是否屏蔽了蜘蛛,或者日志显示不完整。
看看是不是robot.txt书写的问题,还是服务器访客设置给蜘蛛IP禁止了
###看是不是禁止抓取了 或者查看下以前的日志记录及外链引流等方面
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/18236.html