首页 > 问答 > 百度爬虫一直大量抓取不存在动态路径

百度爬虫一直大量抓取不存在动态路径

[导读]:发现爬虫220.181.108段 一直大量抓取网站 /bd/index.php?_previiew 此路径 此路径是一直不存在的 也没入口 查询网站数据也不存在 同时 对.。PHP做过处理 ROBOT已针对性多动态参数做了封...

发现爬虫220.181.108段 一直大量抓取网站 /bd/index.php?_previiew 此路径 此路径是一直不存在的 也没入口 查询网站数据也不存在 同时 对.。PHP做过处理 ROBOT已针对性多动态参数做了封禁 并将此路径页面做了404页面 提交死链删除 但是爬虫还是大量抓取 请问如何解决为好 (目前百度平台已反馈 分析处理 但还是一直没有解决)

第一,检查该链接是否真是百度在抓,看看是否虚假蜘蛛。
第二,如果一切都如你所说,自己没有问题,建议百度站长平台反馈。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/39375.html