首页 > 问答 > 百度3月29日开始,对主页上的更新不爬取也不收录,光抓聚合页

百度3月29日开始,对主页上的更新不爬取也不收录,光抓聚合页

[导读]:使用百度ping工具以后,养蜘蛛有一阵了,蜘蛛基本上每天10分钟左右抓取我的网站的最近更新内容,基本上都收录吧,收录的有原创的,也有从别人网站copy的. 从三月39号左右开始吧.主...

使用百度ping工具以后,养蜘蛛有一阵了,蜘蛛基本上每天10分钟左右抓取我的网站的最近更新内容,基本上都收录吧,收录的有原创的,也有从别人网站copy的.

从三月39号左右开始吧.主页面的更新文章,百度不过来爬了.主页面也不爬了.
但是大量密集的访问我的聚合页面.
见下面图



谢邀,个人觉得你可以在聚合页面给予主页一定的导入链接,然后观察日志看有什么变化。

###

不同权重的网站,搜索引擎爬取深度、数量都是不同的。可以Robots屏蔽下不需要爬寻的页面。

###

百度最近做了好多改变啊!最明显的是去除URL后缀,楼主说的这个问题还没发现。观察中。。

###

表示有一个星期百度没放出我的文章了(看记录蜘蛛来过了)

###

你屏蔽下搜索页面,是B2B程序吧。

###

目测是dede程序

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/23974.html