[导读]:[02/Oct/2014:01:02:25 +0800] "GET /preveertntion/201409292124.html?1154541 HTTP/1.1" 200 4373 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" 最近日志中看到很多文章被百...
[02/Oct/2014:01:02:25 +0800] "GET /preveertntion/201409292124.html?1154541 HTTP/1.1" 200 4373 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
最近日志中看到很多文章被百度蜘蛛爬取“.html?1154541”的现象,还回代码是200。这是什么原因引起的,请大家支招。
织梦程序? 很简单嘛就是你这个网址被蜘蛛抓取到了,为何会被抓取到?原因很多,比如你调用数据、做了广告、自己发外链不小心把这个网址发到外面去了等。最好解决方式直接Robots掉所有的?网址。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/28808.html