本人新弄的一个站 遇到这个问题不知道该怎么办,百度站长后台一直提示说对百度蜘蛛全站禁封,
修改好了Robots应该就没有问题了!是百度响应速度不够吧。
建议:robots文件更新成功,就不会对百度屏蔽了,给点时间。或者进行网站的提交。认证之后可以试图提交网站地图。
查看下日志,看蜘蛛是否有过来。
你的截图robots文件写法都是正确的,建议细心检查一次,包括标点符号在写的时候注意输入法的标点。是否在根目录显示。(网址/robots.txt)看是否显示正常。
百度程序遵守robots文件协议,正确的robots文件,没有屏蔽蜘蛛,是可以抓取的。程序是不会骗人的,程序正确就不会有问题,往往是自己不够细心哦!!
其实遇到这样的问题,最简单最实用的办法是直接删除Robots文件,没有这个文件,就是默认允许了。等到网站被收录后在设置robots。
友情提醒:像WordPress这样的程序,你即是在根目录设置了robots文件允许蜘蛛抓取,也是不行的哦,你需要登录到后台程序开启对蜘蛛的抓取才行。必要的情况下还需要安装robots插件进行设置。
1.确定下蜘蛛是否访问过网站,主要的目的是用来确定蜘蛛在你更改Robots后来过你网站,如果来过,就代表文件有问题,如果没来过,就是还没有更新
2. 如果来过,就代表文件有问题,这个时候就要看你是什么程序,是不是程序限制了蜘蛛的访问?这个你要查查你的程序了。
3. 还有最后一个可能,就是你是否更改错了文件,是否放错了目录?细心排除下
我觉得也就是这3点原因,耐心排除下,会解决问题的
现在很多seo,站长不怎么看蜘蛛日志,也不分析蜘蛛日志,其实,像你所述的这种状况,通过蜘蛛爬行日志,就能判断你遇到的真正的问题。所以,在某些状况下,蜘蛛日志还是能够帮助我们分析一些问题的,建议定期查看、分析蜘蛛日志
###百度工具都不是实时更新的,你看这个没用,看网站日志中,百度蜘蛛爬没爬取网站的内容。
###对网站进行频繁大量的更新,然后等一个周到一个月的时间就好了
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/21761.html