首页 > 问答 > 关于百度对每个网站的资源配额问题

关于百度对每个网站的资源配额问题

[导读]:百度的蜘蛛程序、服务器这个是有限的,但每日增加的网页数却在不断增长,百度不可能无限制地去对每个站不断地去抓取-分析-保存-建立索引。 所以百度对每个网站是要限定...

百度的蜘蛛程序、服务器这个是有限的,但每日增加的网页数却在不断增长,百度不可能无限制地去对每个站不断地去抓取-分析-保存-建立索引。
所以百度对每个网站是要限定配额的,这个百度官方也说过:
由于Baiduspider对每个站点的抓取额是有限定的,所以这些垃圾搜索结果页被百度收录,会导致其它有意义的页面因配额问题不被收录

以上来源自http://zhanzhang.baidu.com/wiki/336。

那么问题来了,那些标题中不包含用户任何搜索词的内容页是否应该存在并允许百度去抓取?

比如搜问中我的主页以及主页里面的导航等,我算了,一共10个页面,现在搜问里面有1万多用户,那加在一起就是10几万个页面几乎是没有搜索价值的。可这些页面百度蜘蛛也会抓取-分析-保存-建立索引,这样的话,浪费了多少百度配额?

上面这些推理,完全打破了我这些年的逻辑,我一直认为,上述的10几万的页面允许百度去抓取,第一可以提高网站的收录数量;第二这些页面上也存在很多有排名价值的链接,同时也给这些链接导入了权重。我把这些页面叫做网站的营养层,而那些有排名价值的页面就是流量层。

在这里开贴希望大家能讨论下,到底哪一种更有利于网站整体的排名?那些标题中不包含用户任何搜索词的内容页是否应该存在并允许百度去抓取?

你这个问题太主观。
第一:你怎么知道你的标题中不包含用户任何搜索词,用户搜索的词是你想知道就知道的?
第二:即使你知道标题中不包含用户任何搜索词,那么还有网页里面的内容呢。
第三:你说的这十万个页面并不是没有检索价值,如图。



###

楼上说的好,蜘蛛抓取页面链接了,才有建索引库的保障。

###

有些页面,并不是让用户搜索的,而是给搜索引擎看或有其它需求,比如网站地图,友情链接页面。

而且网站每一个页面都是网站的组成部分,让搜索引擎看到的页面比例越高,搜索引擎对该网站的了解认知就越深。

再者,很多搜索词,100年只会出现那么一次,比如我随机搜索一串无规律的字符或数字,这样的词有没有搜索量?有没有价值?

###

对于自己站内来说,利用好Nofollow等标签,优先抓取流量页面,让有限的配额去抓去更有价值的页面。
简单来说,哪些页面能带来流量 就引导蜘蛛抓取这类型的页面,一般大型站点最容易遇到这样的问题,结构复杂,页面多,不做控制容易造成的问题包括:
1.浪费蜘蛛资源(配额)
2.占服务器带宽(虽然大型站点不在乎这点带宽)
举例:比如,旅游行业80%的流量来自列表页,公务员考试行业靠文章页面(75%的流量来自长尾词);所以在做引导的时候,请找准你的流量页面在哪里,列表页、文章页还是产品页?

回到题目中,三木兄的举例:ask个人主页的问题
对于SEOer来说,肯定是希望这些页面收录并且有排名的,因为大家在ask里面帮助解决问题,有的是为了纯粹帮助解决seo问题,有的则是同时想提高知名度(个人品牌),就像百度“搜外三木”时,肯定可以搜到三木的个人主页,然后通过他的回答,发现他能力不错,可以有seo顾问的单子找他;按照这个逻辑,这些页面不算浪费配额;
对于搜外来说,站在运营角度考虑,注意观察搜外问答的“搜索框”里面有“问题、网站、seoer名人”这里的seoer名人搜索的结果导向的就是“个人主页”,这些人是站内名人,将来有可能成为全网seoer名人。
另外,是否需要nofollow掉,还要需要@夫唯 老师考虑,搜外是否还有更多的页面值得抓取,实际上nofollow屏蔽之后,还是会抓取的,只是不会传递权重而已,基础的排名还是有的。

ps:大家注意看,实际上ask频道中已经nofollow掉了部分的个人主页的链接。

###

你现在的推理是对的,所以才像我们电商网站或其他平台类的网站才会出现那么多的Nofollow,你要装个nofollow插件看一片红,主要原因不是因为怕权重流失,更多的是为了节省蜘蛛去抓取更有用的东西,也为了服务器压力小。
至于你说的营养层也是有道理的,就像京东的一条评论一个页面一样,你觉得它没意义,但它给其他页面导入大量的链接。
所以这东西是有规划的。

###

从用户需求上去考虑:三木很出名啊,至少我就关注你了,甚至会有更多学习的人,去搜索各路大神的名字。
从搜索引擎索引上考虑:是不是我们认为没有检索价值的页面就对搜索引擎没用呢?其实不是的,对于即便没有检索价值的页面,可能对更好的收录那些价值高的页面有帮助,算作一种“间接的”检索价值。

###

无效收录页面(无法带来有效流量)可以屏蔽抓取。
个人主页肯定是有效收录页面,像楼上的那张截图,用户肯定有这个搜索需求。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/31635.html