网站启用了伪静态以后,但是收录的页面有少量的动态页面,怎么回事?
是否要做一个robots 禁止蜘蛛爬动态页面??
楼上的都说的很对,我只补充一点。
你的网站地图里面,可能还存在动态的路径。检查一下你的网站地图!
支持伪静态的CMS,基本上每个页面都存在两个左右的URL可以访问,而且因为开发团队技术的原因和网站操作团队的流程,都有可能在这两者之间形成重复。
所以,选择一个成熟的CMS就显得很重要,开启伪静态,全站都会开启的很测底,不会出现98%的伪静态,2%的非静态URL,而这2%的非静态URL,就会造成动态URL收录。
操作团队的流程控制也很重要,如果之前是用的动态URL,那么在切换成静态URL后,在一段时间内动态URL的收录会持续。根据个人以前操作的案例,这个切换过程差不多需要一个月左右的时间。
而且,如 @李大恩 所说的一样,如果之前是动态URL操作,那么就没有办法避免外链是动态URL形式的。
对于是否需要一个Robots来禁爬,答案是肯定的。
URL的标准化一定要做到位,一个页面只对应一个URL,哪怕CMS程序没法做到,我们自己建设内链外链的时候也必须做到。
不是说你做了伪静态搜索引擎就不会收录你的动态页面了,哪怕你这些动态页面没有包括站内站外的访问入口,也还是能让搜索引擎发现并收录的.
哪怕你像红然说的做了Disallow: /?禁止抓取所有动态页面 也还是能显示在搜索结果中的,当然,这只是显示,快照中无内容.
当然,我也认为收录了一些动态链接没什么问题,只要不是大规模的,这点小问题可以无视之
如果你确信希望蜘蛛爬取的都是静态页面,
那么就屏蔽动态页面把。
Disallow: /?禁止抓取所有动态页面。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/18203.html