首页 > 问答 > 关于robots.txt 写法的问题

关于robots.txt 写法的问题

[导读]:User-Agent: * allow: /SEOjiqiao/ .htm allow: /exp/ .htm allow: /haowen/ .htm allow: /zhuanlan/ .htm allow: /ask/ .htm allow: /ask/s/ .htm allow: /new/ .htm allow: /bao/ .htm allow: /baoguang/*.htm allow: /index.htm Disallow: / 只允...

User-Agent: *
allow: /SEOjiqiao/.htm
allow: /exp/
.htm
allow: /haowen/.htm
allow: /zhuanlan/
.htm
allow: /ask/.htm
allow: /ask/s/
.htm
allow: /new/.htm
allow: /bao/
.htm
allow: /baoguang/*.htm
allow: /index.htm
Disallow: /

只允许所有搜索引擎抓取指定目录下的htm文件,和首页。其他全部禁止。请问这样写是否正确。

按照你的意思,我觉得正确写法是:
User-Agent: *
Allow: /Disallow: /

修改过来,这个正确,是不是?

###

最好的方法是上传后,用百度站长工具做一下"检测Robots.txt" .一目了然了.

###

楼上的建议很中肯。

###

请一定要关注我的回答!!我去年做过实验,就是你这种写法,过了2周以后,四大搜索引擎都删除了我的收录结果。Robots最好用排除法,别用反选!!血的教训!

###

理论上你这么写是完全正确的

###

/.html 貌似应该改为/*.htm
其它貌似都没什么

###

直接屏蔽掉全站,这是最合理的方法。

别想只爬首页,又不要内页。没有这样的Robots的写法,你是在开玩笑。

尽管你有什么特殊需求,百度抓取机制可不是随便去玩的。

建议:把网站做成单页,不给任何内页入口。这样就只有首页了。或者把入口全部用JS去做吧。

###

你的这种写法是矛盾,Disallow: / 是禁止所有
allow: /又是容许首页

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/23269.html