百度抓取网站上本来就不存在的目录且返回404
[导读]:最近在查看网站日志的时候发现百度抓取了好多网站上不存在的目录,并且返回了404代码,我的服务器上有几个站用的是一款不知名的asp程序,里面的目录结构很简单,也没有那...
最近在查看网站日志的时候发现百度抓取了好多网站上不存在的目录,并且返回了404代码,我的服务器上有几个站用的是一款不知名的asp程序,里面的目录结构很简单,也没有那么多的目录,但是十分不明白百度是如何抓取这些根本就没有的目录的
这是目录结构图:
直接在Robots文件里把你不想被抓爬的目录禁止掉,然后再过几天查看一下日志。
这个原因可能是因为你的程序里有这些图片的调用代码。只不过没有显示出来。
只是猜 测哈。
最大的可能是因为网站出现本身的问题。即程序本身存在不少url链接到你根本不存在的目录
另外的原因就是存在外部链接指向这些根本不存在的目录
例如你的第一个ico文件,一般,所有网站首页的依然赋予的一个ico路径,估计你的网站程序也有赋予这个值,只是你没弄上去。
关于admin的文件夹下面的东西,直接Robots禁止掉,前端页面不要留有管理入口。
综上所述,外链影响的可能性几乎为零。应该是程序本身的问题。
如果不想抛弃该程序,建议慢慢排查程序中的各个路径,你就会发现有这样的路径存在~但是根本没这个目录或者文件。
本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/18934.html