看见一些站群，访问一个不存在的页面，返回404，后台自动生成HTML，再次访问时，这个不存在的页面已经变成存在的HTML文件 ，返回200。

我想问的是：
这样百度蜘蛛第一次访问返回404，这样下次还会再次访问这个文件？

我觉得这样不友好。。。
但是我看见有些站群收录就是变态，就是这样的原理。

404状态码代表‘Not Found’，spider更新时会认为该页面已失效，此时呢将在索引库中删除，短期内spider再次发现该url不再会抓取。

IIS日志里面经常发现 蜘蛛经常会爬行同一个404状态的URL

再反过来想一下
如果有一天你首页或者栏目页意外变成404了 被蜘蛛爬了1次
难道蜘蛛就不会再来了吗？你就会被K吗？
所以蜘蛛会再访问。

适当的利用这个功能 我觉得挺好的 我对这个功能比较感兴趣 能否发一个网址给我看下