首页 > 问答 > 【求救】急,百度蜘蛛把我服务器搞垮了,呜呜呜~~

【求救】急,百度蜘蛛把我服务器搞垮了,呜呜呜~~

[导读]:我的是DeDeCMS动态页网站(用了URL重写),至于为什么不静态化,就是因为文章数量上百万,按5秒钟生成一篇文章计算,那得一个多月才能把整站静态化完成,谁受得了? 建站...

我的是DeDeCMS动态页网站(用了URL重写),至于为什么不静态化,就是因为文章数量上百万,按5秒钟生成一篇文章计算,那得一个多月才能把整站静态化完成,谁受得了?

建站20多天了,百度收录3页(一大堆还没放出来),前段时间百度蜘蛛每天来200次都不到,昨天下午开始百度蜘蛛来势迅猛,守住一个栏目不走,几乎是要把栏目下的文章都踩一遍,直接把我往死里弄-_-!现在是早上6:20,查看日志发现百度蜘蛛已经在我的网站折腾了4000多次。

到现在我打开网站都一直处于请求状态打不开,或者过了几分钟分钟以后才缓慢打开。服务器CPU占用56%~100%,经常飙到80%以上,但内存只用了700M,3G空闲(4核4G服务器)。为此我在robots婉拒了目前在中国混的半死不活的Google(谷歌机器人一天来1800次),但情况基本上没有什么改变。

现在我该怎么办?求大神支招!我是要先把百度蜘蛛赶走吗?拒绝百度蜘蛛后果是什么?半个月后解禁它对待网站的态度是怎样的?还会经常来吗?还是到时候连请都请不来?

我目前正在用多台VPS生成静态页,没个十几天估计完成不了,那位大神有快速生成静态页的方案也可以提供一下,可以有偿提供。

下面是我的网站日志分析截图,截止至早上6:20,还意外地第一次看到了所谓的沙盒蜘蛛。

7月24日补充:
今天百度蜘蛛来访16000次,用楼下给我的那个蜘蛛分析软件判断过了,确实是百度蜘蛛,没办法,只能花血本换了个性能较好的服务器。

可以先去百度站长后台调整下蜘蛛频率,然后再看下如果蜘蛛频率还高,那么就有可能被攻击了!服务器安装安全狗、360网站安全卫士、域名调整到百度加速乐!

###

你估计是被人黑了吧,你又不是蜘蛛的亲戚,就像上面那个哥们儿说的,估计被黑了!好好检查一下!

###

你确定这些蜘蛛是真的百度蜘蛛吗?还是伪装蜘蛛来爬死。下载查询下判断蜘蛛真假源码 下载地址 pan。

###

首先,你可以让服务器那边设置一下访问极限。
第二,你可以在百度站长平台里面修改一下抓取压力,让搜索引擎及时认识自己的过分行为。

本文来自投稿,不代表微盟圈立场,如若转载,请注明出处:https://www.vm7.com/a/ask/26725.html