首页 > 问答 > 网站子目录下添加robots协议是否有效?

网站子目录下添加robots协议是否有效?

[导读]:我们都知道,robots.txt文件一般都是添加在网站的根目录下的,但是我在查看网站日志的时候发现了谷歌会首先访问子目录下的robots.txt文件,因为子目录当中并没有这个文件,因...

我们都知道,robots.txt文件一般都是添加在网站的根目录下的,但是我在查看网站日志的时候发现了谷歌会首先访问子目录下的robots.txt文件,因为子目录当中并没有这个文件,因此返回的都是404。这是不是意味着谷歌支持在子目录下的robots.txt文件呢?
不过最为关注的当然是百度了,百度是否支持在子目录下的robots.txt文件呢?

1谷歌会首先访问子目录下的Robots.txt文件,你指的子目录是否在盖子目录上面存在二级被GG收录域名,所以GG会优先访问子目录robots.txt文件;

应该是非常遵循robots.txt协议的,一般出现错误的几率很低,应该不会出现直接访问子目录的robots.txt情况;

###

我想应该是你网站上的某些页面有死链接指向目录下的Robots文件。

google、百度等搜索引擎都支持robots,但是都确定这个文件位于网站根目录。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/17382.html