RabbitMQ升级到3.6.1版本后,随着业务和系统功能的增加,出现RabbitMQ内存陡增直至服务宕掉的情况。内存增加时,在management管理控制台上可以见到如下警告:
The management statistics database currently has a queue of xx events to process. If this number keeps increasing, so will the memory used by the management plugin. You may find it useful to set the rates_mode config item to none.
应对策略:
1. 根据提示,将rabbitMQ.config中的rates_mode配置项设置为none。
弊端:这样就没法在management控制台上看到message rate的数据了。不能跟进一个队列实时publish和ack的任务量
2. 重启统计数据库(释放内存)
3.6.2以前的版本:rabbitmqctl eval ‘exit(erlang:whereis(rabbit_mgmt_db), please_terminate).‘
3.6.2以后的版本:rabbitmqctl eval ‘rabbit_mgmt_storage:reset().‘
rabbitmqctl eval ‘rabbit_mgmt_storage:reset_all().‘可以重启所有node的统计数据库
另外:3.6.10版本的management控制台已经可见reset按钮
3. 修改rabbitMQ的统计频率(改为15s,默认5s)
broker运行过程中修改:rabbitmqctl eval ‘application:set_env(rabbit, collect_statistics_interval, 15000).‘
config文件修改:将rabbitMQ.config中的collect_statistics_interval配置项设置为15000。
NOTE:如果没有做config文件的修改,broker运行中的修改将在rabbitmq-server服务重启后失效。
4. 限制stats collector processes的使用内存(改为100,默认250)
config文件修改:将rabbitMQ.config中的stats_event_max_backlog配置项设置为100。
可能需要手动在rabbitMQ_Management节点中添加stats_event_max_backlog的设置项 (此处不确定,官方提示修改此值,但config并未见到此配置)
5. 提高rabbitmq的内存低水位线(默认0.4)
broker运行过程中修改:rabbitmqctl set_vm_memory_high_watermark 0.6
config文件修改:将rabbitMQ.config中的vm_memory_high_watermark配置项设置为0.6
NOTE:如果没有做config文件的修改,broker运行中的修改将在rabbitmq-server服务重启后失效。
NOTE:修改config文件时,要留意配置项后面的逗号[,],最后一个配置项不能有逗号,多个配置项之间用逗号隔开。此处处理不好会造成rabbitmq服务启不起来。