服务器程序http服务器是iis
程序是php fan 域程序
iis 绑定域名都是 绑定的空头
刚开始测试一个程序用了一个域名结果蜘蛛抓去了。感觉程序不好，又换了一个。并更换目录+域名。并且老域名停止解析，robots中禁止抓去老程序目录，同时设置 老程序目录文件都返回404。但是百度蜘蛛还是频繁抓老程序的路径，而且日志状态码都为 200！！！ 神马原因！！！！

以前的url已经被存入百度的数据库中，所以百度蜘蛛还会抓取以前的url。

蜘蛛抓取老程序返回200，你最好试试那个链接是否能打开，是否是服务器设置错误，没有返回404代码。

蜘蛛会跟踪IP再抓取一段时间。
但这个没事，小家伙们过几天就“知趣”了。