首页 > 问答 > 爬虫为什么会抓取网站上没有的链接?

爬虫为什么会抓取网站上没有的链接?

[导读]:看了一下网站的日志,发现很多404状态码,把这些404的URL提取出来发现,绝大部分都是网站本身不存在的并且以前也没有存在过的URL,这个是什么情况呢?有哪位同仁遇到过这种...

看了一下网站的日志,发现很多404状态码,把这些404的URL提取出来发现,绝大部分都是网站本身不存在的并且以前也没有存在过的URL,这个是什么情况呢?有哪位同仁遇到过这种情况?



我也遇到这种情况,无规律可循,大量的404,我都是提交百度,360,百度的2-3天就删除死链了



本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/29620.html