首页 > 问答 > 《手机站优化指南V1.0》要求robots限制开放,什么意思?

《手机站优化指南V1.0》要求robots限制开放,什么意思?

[导读]:百度站长平台《手机站优化指南V1.0》有一段话: robots 限制放开,百度 spider 的爬虫 UA 是 Baiduspider(www 和 wap 一致),个别站 长绊常会误认为百度手机爬虫的 UA 是 baiduspider-mo...

百度站长平台《手机站优化指南V1.0》有一段话:

robots 限制放开,百度 spider 的爬虫 UA 是 Baiduspider(www 和 wap 一致),个别站
长绊常会误认为百度手机爬虫的 UA 是 baiduspider-mobile。
这句话是让移动站点的robots只对百度开放吗?好费解啊,不至于这样吧。

哈哈。确实理解有点难懂。
就是说,Robots.txt里要允许百度蜘蛛抓取,百度手机端蜘蛛与pc端蜘蛛一样,都是 Baiduspider。

###

我觉得“Robots 限制放开”
应该是在robots里面添加上“Baiduspider”而不是“baiduspider-mobile”。

也许存在另一种意思,就是只添加百度的“Baiduspider”,而类似于360的“360Spider”就不用写了。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/23408.html