首页 > 问答 > 网站收录,蜘蛛抓取动态返回是伪静态需要屏蔽吗?

网站收录,蜘蛛抓取动态返回是伪静态需要屏蔽吗?

[导读]:网站状况: 绿蚂蚁网:www.lvmae.com 属于快递物流查询平台 1.上线5月二十几号上线,上线后网站采集数据有十万以上,网站的核心就是查询功能和快递网点数据,所以上线后网站...

网站状况:

绿蚂蚁网:www.lvmae.com 属于快递物流查询平台
1.上线5月二十几号上线,上线后网站采集数据有十万以上,网站的核心就是查询功能和快递网点数据,所以上线后网站采集大量的合作网点数据录入。
2. 网站内容快递资讯页面每天都有新的更新,更新内容都属于行业原创和为原创都有。
3. 百度快照也在更新,但是更新的频率很低,现在一直维持在6月20日,七月出现过7月25的快照,然后又返回6.20的快照。
4. 网站在期间有过改动,进行动态伪静态的调整和一些小的样式调整。
5.网站每天都有收录,收录1-2个,网站每天更新5篇以上快递资讯,可能更多,外链也在持续的发布。
6.网站IIS日志出现百度蜘蛛抓取在不断的减少,谷歌也在减少,爬行的是动态页面url,返回都是是200 。
贴一段iis: 百度爬行的动态url:返回200
114.215.184.89 GET /form/StaticPageTemplate/BranchDetailTmplet.aspx ID=113148 80 - 123.125.71.54 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http:/ /www。baidu.com/search/spider.html) - 200 0 0 93

360爬取动态URL:返回伪静态

2014-07-23 08:48:46 114.215.184.89 GET /form/StaticPageTemplate/BranchPandectTmplet.aspx cityID=90&pageIndex=1&companyID=all&districtID=826 80 - 182.118.54.203 Mozilla/5.0+(compatible;+MSIE+9.0;+Windows+NT+6.1;+Trident/5.0);+360Spider http:/ /www。lvmae.com/kdwd/net_90_826_all_1_.html 200 0 0 534

现在问题来了:
1.网站出现这种状况,能否在短期内解决网站快照的更新日期,因为领导一直问。
2.网站的IIs日志里面动态url要不要屏蔽:
(1)如果屏蔽会有什么好处? 如果屏蔽会有什么影响?
(2)如果不屏蔽会有什么好处? 如果不屏蔽会有什么影响?

说明:网站确实存在很多问题,希望各位大牛给予帮助!

对网站有任何见解也望吐槽补充,在此拜谢各位! 附一份7月

请记住,快照日期跟网站质量没有直接影响,百度数据库里面有N个目标网站快照,想放哪个就放哪个,岂是我等能够控制的,自然保持更新频率,合理安排URL唯一性,做好了这些就可以了,不过快照这个理念确实影响了蛮多人,就像你们老板这样。

###

投诉快照。

###

网站采用伪静态后,蜘蛛依然爬取动态URL,会被判断为多个页面内容重复,可能会对网站的seo有所影响,可以使用这个《 rel="canonical"》标签来告诉搜索引擎,哪个页面为规范的网页!
具体使用方法示例:《 》

在百度站长资讯里,百度已发布声明《百度已支持Canonical标签》
原文如下:
一、Canonical标签有什么作用?

对一组内容完全相同或高度相似的网页,通过使用Canonical标签可以告诉搜索引擎哪个页面为规范的网页,能够规范网址并避免搜索结果中出现多个内容相同或相似的页面,帮助解决重复内容的收录问题,避免网站相同内容网页的重复展示及权重的分散,提升规范网页的权重,优化规范网页的排名。

二、什么是规范网页?

规范网页是一组内容完全相同或高度相似的网页的首选版本。

三、为什么要指定规范网页?

为了避免重复内容的收录,百度会通过算法对网页内容及链接进行识别,对内容完全相同或者高度相似的网页,会计算出一个系统认为规范的网页结果建立索引并供用户查询。

支持Canonical标签以后,站长可以通过将 元素和 rel="canonical" 属性添加到该网页非规范版本的

部分,为搜索引擎指定规范网页。添加此链接和属性可以告诉百度:“在内容相同或高度相似的所有网页中,该网页为最规范最有价值的页面,推荐将该网页排在搜索结果中靠前的位置。”

四、如何指定规范网址?

可通过在每个非规范版本的 HTML 网页的 部分中,添加一个 rel="canonical" 链接来进行指定规范网址。

例如,要指定指向网页 http: //www.***.com/ 的规范链接,需要按以下形式创建 元素:



然后将上述链接复制到某网页所有非规范网页版本的 部分中(例如 http: //www.***.com/),即可完成设置。

五、可设置规范网页的几种情况举例:

举例一、社区帖子可能由于置顶、突出颜色等行为导致内容完全相同的一个网页产生不同的链接,搜索引擎只会选择其中一个链接建立索引,如以下两个链接不同,内容完全相同的页面:

http:// bbs.***.com/
http:// bbs.***.com/
举例二、对商品的列表页面,按照价格或者优惠等顺序进行排序,但网页内容高度相似:

http:// mall.***.com/pr-list?locid=75fb2a357d38397c5e1e75fa&cid=5e1e02f950a4101fb27571ee&order=discount

http:// mall.***.com/pr-list?order=price_asc&locid=75fb2a357d38397c5e1e75fa&cid=5e1e02f950a4101fb27571ee

举例三、网站有多个网页展示的为相同型号的商品,只是每个网页商品图的颜色不同,其他内容几乎完全相似,此时也可设置rel="canonical",将当下最流行色彩的商品网页设置规范网页,推荐百度有优先将其显示在搜索结果中。

六、百度会完全遵守rel="canonical"标签吗?

网页中添加该标签后,就代表站长向百度推荐某个网页作为最规范的网页版本,百度会同时根据标签的推荐及系统算法选择出最合适的网页将其显示在搜索结果中。百度会根据网页内容实际情况考虑Canonical标签中推荐的网页,但不保证完全遵守该标签。为了保证标签的效果,请保证一个页面中仅有一个Canonical标签。

七、此链接是相对的还是绝对的?

rel="canonical" 可与相对链接或绝对链接一起使用,但建议您使用绝对链接,以最大程度地减少可能出现的混乱或问题。

八、rel="canonical"标签可用于在不同的域名中建议规范网址吗?

如果网站需要更换域名,且使用的服务器不能创建服务器端重定向网址的情况下,就可以使用rel="canonical" 链接元素指定希望百度收录域的网址。###

其实网页快照并不重要,内容跟上了话应该没有什么问题

可以给不同的快递建立不同的标签页,然后在标签页中汇聚不同的内容,排名会多一些

###第一,你要首先排查网站是否存在哪些动态链接,先查找为什么会抓取到。
第二,你的快照可能是因为时间戳造成的快照时间不变了。
附具体代码:


绿蚂蚁手机客户端



绿蚂蚁版本 ()



第三,查看了你的网站收录,看到你的网站收录的也都是静态链接。因此,无论百度抓取什么你的里面有规则都会被抓取到的。
但是为了防止,搜索引擎抓取到重复的内容,但是链接不同,建议你屏蔽动态链接,注意合理写屏蔽规则,先检查规则的正确性再上传。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/27319.html