百度蜘蛛一直爬却不收录,是什么原因?
最近网站进行改造:生成上百万各页面(带参数的URL)
比如:A:http://XXX.com/bac/bca/123
B :http://XXX.com/abc?cba456
首页、频道、A、B各页面都有B页面的A标签入口
问题就在:百度蜘蛛一直都是抓取A页面(已经收录很多),而B页面(一个也没收录)基本不抓取
这是什么原因?求大家给点建议!
我个人觉得是:
1、 网站自身程序
2、B页面质量过低
A是伪静态后的URL,B是原始的URL,打开是不是同一个页面呢?
如果打开内容相同,赶紧设置Robots禁止抓取B类型的网址了。
1、没有爬行,你看下是不是robots禁止爬行
2、没有爬行,百度搜索蜘蛛已将A的伪静态URL作为规范化网址,B网址认为是重复内容,不爬行和抓取了。
3、B页面想要被百度蜘蛛爬行抓取,你还是给B的URL设置伪静态吧
0、看看是不是程序媛把带问号的地址Robots掉了
1、蜘蛛入口少或者权重低,你不收录的这个链接发到首页看收录不收录!
2、内容不好,增加点相关调用,保持页面的自我更新!
3、保持整站内容的频繁更新,和链接权重的增加!
最后收录应该没问题啊!
爬行的状态码是220.这种吗?
###建立在A的文章发表时候,推荐B的高质量文章,做到吸引用户到B的页面了解更多。
###首先看是否把非静待处理的Robots了。如果没有robots就要看B页面更新的频率是怎么样的了。搜索引擎有个习惯,就是一旦你保持了那种更新的频率他有时候爬行收录也会和你更新的一样。好比你一周更新一次,它可能就以后一周爬一次。一天一次,可能每天也来。如果分析日志肯定爬行了这个链接而没有收录的话,就要先注意搜索引擎的那些过滤规则了,自己页面是否在过滤规则里面,如果不是,就要看页面质量。
###B页面的质量较低,并且你的B页面更新的内容没有形成一定的规律,你可以在发布A页面文章的时候,将B页面的一些原创内容进行推荐,这样开成内容之间的推荐链接,对于B页面也会有一定的帮助。如果在Robots.txt中禁止了B而面,那么也会不收录的。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/25815.html