首页 > 问答 > 有快照有收录,没蜘蛛爬行记录?

有快照有收录,没蜘蛛爬行记录?

[导读]:网站快照有更新 ,也有收录!但日志文件里面却没有蜘蛛的身影!通过别的方式,查询了后,发现还是有蜘蛛来过的!但是为什么日志文件里面没有spider出现呢! 网站是没有设...

网站快照有更新 ,也有收录!但日志文件里面却没有蜘蛛的身影!通过别的方式,查询了后,发现还是有蜘蛛来过的!但是为什么日志文件里面没有spider出现呢! 网站是没有设置robots文件的!这跟这个有关系吗? 日志文件里的IP地址真的像有人说的那样,每一个IP段都代码着一定的含议吗?像这个图片里面说的一样,每一个IP段都代表着不同类的蜘蛛?

请问下下面那些对蜘蛛的分类是正确的么?

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/29309.html