[导读]：不带 / 的栏目页面的url是：abc.com/ab 带 / 的栏目页面的url是：abc.com/ab/ 因为两个地方都能打开，蜘蛛在抓取的时候，两个都抓取了。现在想禁止蜘蛛抓取不带 / 的url，请问robots文...
不带 / 的栏目页面的url是：abc.com/ab
带 / 的栏目页面的url是：abc.com/ab/
因为两个地方都能打开，蜘蛛在抓取的时候，两个都抓取了。现在想禁止蜘蛛抓取不带 / 的url，请问robots文件该怎么写呢？
大神们，支支招啊~ 感谢~
可以使用canonical标签可以告诉搜索引擎哪个页面为规范的网页，避免网站相同内容网页的重复展示及权重的分散，提升规范网页的权重，优化规范网页的排名。
本文来自投稿，不代表微盟圈立场，如若转载，请注明出处：https://www.vm7.com/a/ask/25341.html
