首页 > 问答 > 百度蜘蛛每天都是爬已经被收录过的页面,请问是什么原因啊。

百度蜘蛛每天都是爬已经被收录过的页面,请问是什么原因啊。

[导读]:我的站点www.xinshouyou.com,目前正在游戏中心栏目做手游下载,我看了几天的百度蜘蛛爬行日志,每天蜘蛛都会爬已经被收录过的页面,其它新添加的页面都不爬取,这些收录的页...

我的站点www.xinshouyou.com,目前正在游戏中心栏目做手游下载,我看了几天的百度蜘蛛爬行日志,每天蜘蛛都会爬已经被收录过的页面,其它新添加的页面都不爬取,这些收录的页面都是通过熊掌号提交的,有大佬帮忙解释下吗

1、网站URL规划问题

2、域名/shouyou/lb/all   ,去掉all=== 域名/shouyou/lb/就是404页面,如果你是蜘蛛,爬到这里返回404是否还会爬行

3、合理规划页面URL,缩短或者都让每个URL都能访问

QQ截图20191129145658

QQ截图20191129145240


###

因为那些页面有价值,新页面也许没有价值就不抓了

###

既然这样,新页面也可以提交熊掌号不就可以了

###

更新后会有收录的~一般这种一段时间不收录现象,现在还是很多的。

###

估计已经习惯了 蜘蛛 等你提交在抓取收录

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/96872.html