首页 > 问答 > robots的写法,网站自动默认了禁止robots是怎么回事

robots的写法,网站自动默认了禁止robots是怎么回事

[导读]:我有两个网站,都默认了robots: User-agent: * Disallow: / 但这不是就屏蔽了抓取么,为什么还会自动默认。而且我十月底上线的时候还在收录,后来十一月就没有了收录,不过有快照...

我有两个网站,都默认了robots:
User-agent: *
Disallow: /
但这不是就屏蔽了抓取么,为什么还会自动默认。而且我十月底上线的时候还在收录,后来十一月就没有了收录,不过有快照。

可是我的另外一个网站,也默认了同样的robots,可是那个站就收录的好好的,这是为什么?
robots到底要怎么写才对啊。同样的写法为什么效果也截然不同,好迷惘,不懂,求大神赐教

一般网站Robots文件默认就可以,除非你有特殊用途,比如淘宝的就是禁止百度抓取的,当然百度想抓取肯定有自己的办法。
相如robots这种约定俗成的东西,不需要太多的关注的。做好你的内容页,多发发外链,增加点入口,做好你的网站地图,相信很快就会收录不少的。

###

这不是屏蔽吧,是全部允许抓取,没有收录未必是Robots禁止了抓取。何况之前有收录,建议考虑下文章原创性和可读性。并适当做些外链引蜘蛛。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/31209.html