查看了服务器日志，这样的抓取是不是有问题的呢？ 作者：网站右下角广告 • 时间：2020-03-10 • 问答 • 来源：www haosou com • 阅读 [导读]：我的抓取的也是不存在的目录，一查是个假百度 ### 路径如果不存在就设置Robots禁止掉不存在的目录... 我的抓取的也是不存在的目录，一查是个假百度###路径如果不存在就设置Robots禁止掉不存在的目录 本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/91513.html
