[导读]：网站改版后在robots里屏蔽了部分目录，起初有作用，这几天在网站日志查询时，发现重复抓取了，其它搜索引擎蜘蛛基本按照robots抓取。 这是正常现象吗？如果不是，有什么方...
网站改版后在robots里屏蔽了部分目录，起初有作用，这几天在网站日志查询时，发现重复抓取了，其它搜索引擎蜘蛛基本按照robots抓取。
这是正常现象吗？如果不是，有什么方法可以解决？
你可以去百度站长工具～抓取测试你屏蔽的目录url,如果抓取成功，就在百度站长工具里面，更新提交下Robots文件，然后过几小时在去抓取测试，如果抓取失败，说明已经生效。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/29579.html
