[导读]:User-Agent: * allow: /SEOjiqiao/ .htm allow: /exp/ .htm allow: /haowen/ .htm allow: /zhuanlan/ .htm allow: /ask/ .htm allow: /ask/s/ .htm allow: /new/ .htm allow: /bao/ .htm allow: /baoguang/*.htm allow: /index.htm Disallow: / 只允...
User-Agent: *
allow: /SEOjiqiao/.htm
allow: /exp/.htm
allow: /haowen/.htm
allow: /zhuanlan/.htm
allow: /ask/.htm
allow: /ask/s/.htm
allow: /new/.htm
allow: /bao/.htm
allow: /baoguang/*.htm
allow: /index.htm
Disallow: /
只允许所有搜索引擎抓取指定目录下的htm文件,和首页。其他全部禁止。请问这样写是否正确。
按照你的意思,我觉得正确写法是:
User-Agent: *
Allow: /Disallow: /
修改过来,这个正确,是不是?
最好的方法是上传后,用百度站长工具做一下"检测Robots.txt" .一目了然了.
###楼上的建议很中肯。
###请一定要关注我的回答!!我去年做过实验,就是你这种写法,过了2周以后,四大搜索引擎都删除了我的收录结果。Robots最好用排除法,别用反选!!血的教训!
###理论上你这么写是完全正确的
###/.html 貌似应该改为/*.htm
其它貌似都没什么
直接屏蔽掉全站,这是最合理的方法。
别想只爬首页,又不要内页。没有这样的Robots的写法,你是在开玩笑。
尽管你有什么特殊需求,百度抓取机制可不是随便去玩的。
建议:把网站做成单页,不给任何内页入口。这样就只有首页了。或者把入口全部用JS去做吧。
你的这种写法是矛盾,Disallow: / 是禁止所有
allow: /又是容许首页
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/23269.html