304 状态信息 Not Modified 含义 客户端有缓冲的文档并发出了一个条件性的请求（一般是提供If-Modified-Since头表示客户只想比指定日期更新的文档）。服务器告...

日志分析工具的bug导致的 ### 我很少看日志，我认为日志是告诉你搜索引擎的流程路线以及喜爱程度 ### 下载日志，实际查看一下看看。 ### 建议你通过exc...

从网站的日志分析来临，蜘蛛返回的状态码出现304和404的页面基本都是图片路径、js和css这样的路径，而且数量很庞大，不知道这种问题有遇到过的吗，怎...

最近分析网站日志，发现抓取的很多页面是以showtopic.aspx结尾的，然后加入前面完整的域名访问是不存在的页面，后面发现有一段参数topicid=4874forumpage=1ty...

因为网站的数据不是很多，总的内容页也就是700左右，今天逐个去排查收录情况，发现这么一个问题！ 很多页面的百度快照没有描述，就是标题加网站，把...

大神们，我的蜘蛛日志怎么和正常的蜘蛛日志不一样啊？请大家帮忙看看，是怎么回事？ Software: Microsoft Log Parser Version: 1.0 Date: 2013-12-22 00:54:05 Fields: LogFi...

网站是：www点jmall点cn 蜘蛛只抓取图片路径，不抓取页面URL，先上一张图，大家一看就知道： 百度在分析你的页面结构和用户体验情况，无需担心 ### 如问...

问题描述：一直在查看网站日志文件，但发现蜘蛛抓取的页面大部分是不需要抓取的文件，如js css 图片、模版目录，反而需要抓取的目录和内页的抓取却不...

网站已经运行5个月，网站服务器日志一直出现一个非常不解的现象。 可能你的日志工具有问题，或者你日志分析方法有问题 ### 百度与谷歌都是会去爬你的...

栏目名称与所优化的主页关键词不相关，比如：我在首页要优化“SEO技术”，而栏目的名称为“dedecms文章”， 想采用nofollow，不给这个栏目传递权重，使权...