[导读]:如果是没用的页面,你可以Robots掉这个链接,禁止百度蜘蛛爬取 ### 我基本上没有见过百度post网页,这个可能是假的百度爬虫。 如何判断是否百度爬虫,搜索一下我发的识别百...

如果是没用的页面,你可以Robots掉这个链接,禁止百度蜘蛛爬取
###我基本上没有见过百度post网页,这个可能是假的百度爬虫。
如何判断是否百度爬虫,搜索一下我发的识别百度工具吧。我就不做广告了。
post和百度抓取没有直接联系吧。另外对于上面的2个链接是怎么回事。get请求为啥只有1个链接。
这个没有研究,一般看抓取纪录,我是看下,蜘蛛是不是抓取有用的页面,抓取过多不相关的,一般都会减少入口,没有用的直接屏蔽掉即可。
这样的抓取是不是太浪费资源,我是否可以直接屏蔽掉:/ad/这个是的直接屏蔽即可。
可以再用光年看看蜘蛛的抓取目录。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/31234.html