首页 > 问答 > 网站的首页频繁被蜘蛛抓取,可不可以nofollow一些接口?

网站的首页频繁被蜘蛛抓取,可不可以nofollow一些接口?

[导读]:你要NO的不是在首页,而是在列表,详细页。因为通常情况下列表与详细页的主导航都是与首页导航共用的。这就意味着这些导航的内容永远都会出现3次(访问任意页面) ### 不...



你要NO的不是在首页,而是在列表,详细页。因为通常情况下列表与详细页的主导航都是与首页导航共用的。这就意味着这些导航的内容永远都会出现3次(访问任意页面)

###

不太明白你问题,你的意思是抓取的太多了,还是什么?蜘蛛频繁抓取对于网站来说是一个好事,你可以通过在首页增加内页的连接来增加内页的爬取量。同时,你可以将首页没用的连接和入口Robots掉,例如像联系我们之类的!
不知道你问的是不是这个,稍微做了下延伸~

###

尝试着改变或者增加首页到其它内页的入口数量和位置。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/16655.html