[导读]：这样的robots排序是否正确，如果这样的排序正确的话，蜘蛛日志里还是发现限制的页面还有会蜘蛛爬取，并返回404代码。如果提交robots文件需要多长时间生效？ 你第2行禁止所有...
这样的robots排序是否正确，如果这样的排序正确的话，蜘蛛日志里还是发现限制的页面还有会蜘蛛爬取，并返回404代码。如果提交robots文件需要多长时间生效？
你第2行禁止所有了，下面的都失效了。
权重顺序是从上到下的。
生效时间可以看站长工具的上次访问时间，也可以使用站长工具让百度更新Robots文件
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/17900.html
