首页 > 问答 > 如何禁止百度蜘蛛抓取IP跳转到的页面,而是抓取首页!

如何禁止百度蜘蛛抓取IP跳转到的页面,而是抓取首页!

[导读]:比如输入【赶集】它出现的是赶集网的首页 而输入【58】它出现的缺失北京的IP跳转抓取的页面 如何让蜘蛛抓取首页,而不让蜘蛛抓取跳转IP之后的页面 @@58同城@@ 根据agent的类型...

比如输入【赶集】它出现的是赶集网的首页
而输入【58】它出现的缺失北京的IP跳转抓取的页面
如何让蜘蛛抓取首页,而不让蜘蛛抓取跳转IP之后的页面
@@58同城@@

根据agent的类型进行设置。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/29069.html