首页 > 问答 > 网站日志遇到问题不太懂,求解决。

网站日志遇到问题不太懂,求解决。

[导读]:如果是没用的页面,你可以Robots掉这个链接,禁止百度蜘蛛爬取 ### 我基本上没有见过百度post网页,这个可能是假的百度爬虫。 如何判断是否百度爬虫,搜索一下我发的识别百...



如果是没用的页面,你可以Robots掉这个链接,禁止百度蜘蛛爬取

###

我基本上没有见过百度post网页,这个可能是假的百度爬虫。
如何判断是否百度爬虫,搜索一下我发的识别百度工具吧。我就不做广告了。

###

post和百度抓取没有直接联系吧。另外对于上面的2个链接是怎么回事。get请求为啥只有1个链接。
这个没有研究,一般看抓取纪录,我是看下,蜘蛛是不是抓取有用的页面,抓取过多不相关的,一般都会减少入口,没有用的直接屏蔽掉即可。

这样的抓取是不是太浪费资源,我是否可以直接屏蔽掉:/ad/这个是的直接屏蔽即可。

可以再用光年看看蜘蛛的抓取目录。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/31234.html