这两天网站的发展非常迅速,爬虫抓取得频率也非常快，头条一天爬取了30多万次，导致服务器凌晨的时候宕机了，百度的爬虫爬取时就出现了问题。那一次宕机发生之后,我们网站的百度抓取频次就急剧下降。从9999直接掉到了60，现在程序上已经优化了，想问下还有神马解决方法？

有点恶心

您好，我是头条搜索的工作人员，我们已经开放站长平台（https://zhanzhang点toutiao 点com），站长可在站长平台自主设置抓取压力，如果您觉得压力不合适或者有其他诉求需要进一步沟通可加我微信hello20180625

我最近头条蜘蛛也在爬，但是不多，一天2万8左右，上下一点每天，但是不收录光抓取。

看日志爬的什么？如果无效的太多屏蔽下

百度的爬虫爬取时就出现了问题？说明你网站太牛了。实在不行了，把服务器硬件升级吧。