[导读]:我的网站是asp文件生产的html页面,就是说,同一个内容,有2个url与之相对应。 比如首页文件有index.asp,同时还生成了一个index.html, 简介页面文件有about.asp,同时还生成了一个...
我的网站是asp文件生产的html页面,就是说,同一个内容,有2个url与之相对应。
比如首页文件有index.asp,同时还生成了一个index.html,
简介页面文件有about.asp,同时还生成了一个about.html
最主要的是新闻和产品页面,
比如新闻页:
http://www.abc.com/news/shownews.asp?id=97
http://www.abc.com/news/97.html
再就是产品页:
http://www.abc.com/productshow/productshow.asp?id=34
http://www.abc.com/productshow/97.html
同时,我希望搜索引擎主抓取收录的都是html格式文件,那么我的robotx.txt写成:
User-agent: *
Disallow: /*.asp$
Disallow: /news/*?
Disallow: /productshow/*?
还是直接写
User-agent: *
Disallow: /*.asp$
Disallow: /*?*
建议:
User-agent: *
Disallow: /productshow/*
Disallow: /news/*
Disallow: /productshow/*
/news/*
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/29217.html