chengpin。shijizhongye。com这个域名已经做了robots屏蔽所有蜘蛛的爬取，该robots是12月9日书写并使用的，但是现在发现这个域名的快照为2013年12月19日

不是说robots屏蔽后相应的蜘蛛就不爬站点了吗？怎么现在日志里还有蜘蛛的IP以及快照的更新？robots到底有无效果？

Robots书写对了，位置放对了是一定有效果的。
我有一个站也是最近才加了robots屏蔽，是有效果的。

不介意的话，把你的robots贴出来，让高手们帮你分析一下，到底是哪里的问题。