首页 > 问答 > Baiduspider对每个站点的抓取额是有限定的,这个该怎么定义?

Baiduspider对每个站点的抓取额是有限定的,这个该怎么定义?

[导读]:由于Baiduspider对每个站点的抓取额是有限定的,所以这些垃圾搜索结果页被百度收录,会导致其它有意义的页面因配额问题不被收录,同时可能因百度处理垃圾页面而影响网站正...

由于Baiduspider对每个站点的抓取额是有限定的,所以这些垃圾搜索结果页被百度收录,会导致其它有意义的页面因配额问题不被收录,同时可能因百度处理垃圾页面而影响网站正常排名。

这段话是百度站长“防止网站内部搜索被他人恶意利用”的一句,不知道该怎么解读
百度对于网站的抓取额是有限定的,那大概一个站会被百度限定多少呢?这样是否还要对一些页面进行蜘蛛屏蔽,比如说评论,抓取额是一个百分比还是固定值的单位?

找一个日志分析软件,你看一下,每天百度你的网站的次数几乎是差不多的,这个配额根据你网站的页面数量和页面等级进行分配。

所以,怎样让更有意义,特别是有排名意义的页面及时被抓取,而那些没有排名意义或者垃圾内容,应该想办法规避百度蜘蛛抓取。

比如很多网站的脚注部门的关于我们,联系我们等这些链接,存在于每个页面,这样就会占用很多抓取资源,所以很多站就用Nofollow规避蜘蛛抓取这些链接。

你说的那段话,就是减少蜘蛛抓取那些搜索结果页,如果你的搜索结果页没有排名的意义,可以禁止百度百度抓取,比如写到Robots里面。

###

我的理解是:每个页面被收录都是有条件的,需要达到一定的权重或综合分值;而每个站的 权重在短时间内都是不变的,所以收录的页面数也是一定的;无意义的页面被收录,会占去被收录总数的一定份额!【呵呵,我是新手,随便发表下,勿喷】

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/30414.html