[导读]:各位搜外的前辈/高人: 大家好,小弟菜鸟,碰到一个问题,请大家不吝赐教,感谢! 新装了phpmyfaq 2.8.8。发现一个页面对应N个不同的地址。 前台只有下面所说“正确的地址”...
各位搜外的前辈/高人:
大家好,小弟菜鸟,碰到一个问题,请大家不吝赐教,感谢!
新装了phpmyfaq 2.8.8。发现一个页面对应N个不同的地址。
前台只有下面所说“正确的地址”的链接,但担心蜘蛛还是能抓取那些重复的url。因此,想在robots.txt中禁止抓取那些url。
一、分类页面。
正确的地址:
xxx.com/category1.html
这个页面,还可以通过以下路径访问:
xxx.com/category/1/1.html
xxx.com/category/1/1/zh.html
xxx.com/category/1/1/en.html
二、文章页面。
正确的地址:
xxx.com/1_1_zh.html
这个页面,还可以通过以下路径访问:
xxx.com/content/1/1/zh/文章标题.html
问题:
1,如果不处理,是否会影响SEO?
2,在robots.txt中禁止抓取重复的路径,应该如何写呢?
1:不处理,会影响seo,造成每个url不能集中权重。
2:不建议使用Robots禁止抓取,建议做301重定向。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/24227.html