[导读]：这个网站，www.nbjingdu.com [?] 优化建议里面提示在静态页面上使用动态参数，会造成spider多次和重复抓取，我把提示的这几条网址写在robots文件里面禁止抓取有用吗？ 应该有用吧...
这个网站，www.nbjingdu.com[?]
优化建议里面提示在静态页面上使用动态参数，会造成spider多次和重复抓取，我把提示的这几条网址写在robots文件里面禁止抓取有用吗？
应该有用吧
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/73164.html
