如果robots文件禁止不了蜘蛛爬行，有其他的办法吗,访问太频繁，一直导致502.

网站的一个bbs调用模块，想禁止两个蜘蛛访问它，robots协议写法如下：

User-agent:SEOkicks-Robot
Disallow: /
User-agent: archive.org_bot
Disallow: /

放到bbs下面的robots文件里了。

但是还可以看到他们经常来，有什么办法禁止吗？

如果这样写，该放到网站的robots文件里还是bbs下面的robots文件里？

user-agent:*
Disallow:/bbs/

直接封它ip- -

直接在Robots.txt 里面设置就可以

Robots各大搜索引擎都明确规定要遵守的，虽然360以用户内容为公开协议赢了官司，但是个人或者公司内容，任然有私隐权，robots还是要遵守的。

可能是搜索引擎的缓存行为导致你把bbs/放到robots任然还在抓取，给点时间搜索引擎做更新调整吧！

robots如果一直不行，可以试试【noindex和Nofollow】结合使用在网站中，对应bbs/这个URL的标签处。可以禁止站内对于bbs/ 这个文件夹的索引和传递。但是如果站外任然有链接入口指向bbs/。那很有可能还是无法做到全面屏蔽。

总得来说，如果robots无法做到屏蔽索引，就几乎没有任何办法了！