首页 > 问答 > 网站日志问题

网站日志问题

[导读]:我是个菜鸟,刚查看网站日志,发现谷歌访问robots时返回404,请问这个是不是robots文件写的有问题啊? 、、、、、、/robots.txt - 80 - 66.249.74.122 Mozilla/5.0+(compatible;+Googlebot/2.1;++ht...

我是个菜鸟,刚查看网站日志,发现谷歌访问robots时返回404,请问这个是不是robots文件写的有问题啊?
、、、、、、/robots.txt - 80 - 66.249.74.122 Mozilla/5.0+(compatible;+Googlebot/2.1;++http冒号//www点google点com/bot点html) 404 0 2

从这个日志记录中可以读出这几个主要内容:
1、抓取对象:/Robots.txt
2、谁抓取的……
3、抓取状态:返回的HTTP状态码为404(说明是死链接,一般是这个内容不存在)

可以检查一下,是否自己网站没有建robots,建一个。

如果建了,确保可以访问,同时可以多个站长工具检查一下这个页面的HTTP状态码。
以实际可以访问为准(有时候问题可能是偶然性的)。

###

没问题。
用站长工具或者百度站长工具来帮助写Robots.txt,会更简单直观些。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/20397.html