[导读]:[17/Oct/2013:01:49:03 +0000] "GET / HTTP/1.1" 200 44945 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" 119.84.74.84 - - [17/Oct/2013:02:01:05 +0000] "GET / HTTP/1.1" 200 44945 "-" "Mozill...
[17/Oct/2013:01:49:03 +0000] "GET / HTTP/1.1" 200 44945 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
119.84.74.84 - - [17/Oct/2013:02:01:05 +0000] "GET / HTTP/1.1" 200 44945 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
66.249.74.221 - -
GET / HTTP/
第一个【/】就是网址了,应该指的是首页。
在抓取其它页面时,应该在【/】后面有网址。
蜘蛛抓取的是你网站的相对地址。
没理解你说的什么意思,可以说的详细一些么?
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/19973.html