2013-12-26 10:51:07 222.36.40.158 GET /index.php c=article&file=163&page=1& 80 - 123.125.71.43 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http:/.baidu./search/spider.html) 301 0 64 370
2013-12-26 10:54:26 222.36.40.158 GET /index.php c=article&file=141&page=1& 80 - 123.125.71.21 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http:/.baidu./search/spider.html) 301 0 64 613
2013-12-26 10:57:47 222.36.40.158 GET /index.php c=article&file=135&page=1& 80 - 220.181.108.96 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http:/baidu.c/search/spider.html) 301 0 64 502
由于我所在的用户组不能发链接,所以把日志中百度的路径某些字母以*代替
以上只是一部分,这种情况是在给网站做了301重定向之后出现的!看网站日志发现蜘蛛爬寻栏目页和内容页返回301 0 64 网上也找不到像样 的回答!在此求救高手朋友们!
这个到底意味着什么?会有什么影响?
以前我的网站出现这样的情况,我基本上都是用更新网站频率来压下去的,这个可能时间需要些,但是还是挺管用的。用更新网站频率来让百度蜘蛛习惯性的去抓起我们最新的文章。网站出现404也是这样基本上我就是更新频率的改变,让百度蜘蛛抓起最新的东西来替换原来抓起路径。
###不用太去纠结这个问题,举个例子:就好比你网站有很多死链接,然后你提交给百度,之后在日志里还是会多次出现死链接啊!因为百度要爬行几次才好确认这个东西是不是已经这样做了。其实道理都是一样的,蜘蛛多抓几次,如果每次都返回同一代码,之后他就很确定能够去判断这个页面的情况。不知道我这样解答能够明白不?
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/21317.html