首页 > 问答 > 通过user-agent判断,将Baiduspider定向到http页面

通过user-agent判断,将Baiduspider定向到http页面

[导读]:如果只看标题,我想很多人会说,搜索引擎跟普通访客访问的内容不一致,这是作弊!降权! 全文是这样的: 百度搜索引擎目前不主动抓取https网页,导致大部分https网页无法收...

如果只看标题,我想很多人会说,搜索引擎跟普通访客访问的内容不一致,这是作弊!降权!

全文是这样的:

百度搜索引擎目前不主动抓取https网页,导致大部分https网页无法收录。但是如果网站一定要使用https加密协议的话该如何做到对百度搜索引擎友好呢。其实很简单:

1,为需要被百度搜索引擎收录的https页面制作http可访问版。

2,通过user-agent判断来访者,将Baiduspider定向到http页面,普通用户通过百度搜索引擎访问该页面时,通过301重定向至相应的https页面。

那是不是说,判断蜘蛛然后重定向到不同页面不属于作弊了

如果你小看百度,那你就错了。不知道你是否知道百度有很多蜘蛛?网页截屏的(主要用于视觉分析,例如判断正文内容是否在第一屏),真实用户模拟的(检测网站使用采用了UA封禁),……
针对你这个问题,最经典的是手机版的跳转,当用户的UA是手机时,网站会自动跳转到对应的手机版页面……说了一大堆废话,最后我想说明的是,百度没有那么简单,它会根据真实情况作出真实判断。

###

UA判断HTTP和HTTPS做跳转没试过,不过在上一个提问之后就脑补了一下,感觉应该是可行的。不过对于最后用户访问通过301判断,是否可以同样通过UA判断了?没试验场景,无法测试,只能脑补了。。。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/28492.html