类似于这些
www点ibuying点com/wenxiong/1466-b587-min0-max0attr176845.125820.87424.0.0.0.html#anchor
www点ibuying点com/wenxiong/1466-min0-max0-attr176837.0.0.0.0.0.html#anchor
www点ibuying点com/wenxiong/1466-min0-max0-attr176837.125820.0.0.0.0.html#anchor
www点ibuying点com/wenxiong/1466-b287-min0-max0-attr176837.125820.0.0.0.0.html#anchor3
www点ibuying点com/neiku/1467-min0-max0-attr176837.0.0.0.0.html#anchor
www点ibuying点com/neiku/1467-min0-max0-attr176837.89971.0.0.0.html#anchor
www点ibuying点com/neiku/1467-min0-max0-attr176837.89971.184312.0.0.html#anchor
这些都是商品筛选的页面,求大神,我应该怎么写robots屏蔽?或者还有其他屏蔽方法吗?
Robots.txt 这样写
User-agent: *
Disallow: /wenxiong/
Disallow: /neiku/
Sitemap: www点ibuying点com/
不不需要屏蔽
要么用JS做筛选 要么这么方式也可以 搜索引擎一般不会搜录这个url,做屏蔽也没有太大的必要
不是那么重要的建议 按条件筛选时 标题根据筛选条件定义 而不是相同标题
Ecshop系统对吧。
Disallow:/min
Disallow:/max
另外,看了你的网站,伪静态和动态都有呢,统一一下吧。
建议读下谷歌网管工具关于 rel="canonical" 的文章,
https://support。google。com/webmasters/answer/139394?hl=zh-Hans
相似的页面指向一个最重要的版本。
如果那两个栏目下所有的链接都要屏蔽就可以写:
User-agent: *
Disallow: /wenxiong/
Disallow: /neiku/
Sitemap: http://www点ibuying点com/
如果屏蔽规则要那样写的话,那这个网站所有的/wenxiong/或/neiku/这个目录下的文章或产品都不会被收录,那这样的话造成的影响就更加大了,因为还是不要屏蔽的好。
###Robots.txt代码:
User-agent: *
Disallow: /wenxiong/
Disallow: /neiku/
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/19575.html