一个IBM ODM内存性能优化案例

一个客户使用了若干年ODM,系统中部署了大量业务规则,当月末业务量集中时,规则服务器性能会面临较大压力,应用服务器JVM经常发生Full GC,甚至导致OutOfMemory,严重影响业务运行。

我们以此为例来看看如何用结构化的方式来处理此类性能问题。

Step 1 - 确认问题

首先我们来看一下该客户的GC日志,确认问题:

从GC日志中可以观察到如下现象:

  • Full GC每隔几秒就会发生一次
  • 每次Full GC持续时间为4-5秒
  • 年老代和持久代的内存使用90%以上
  • Full GC之后,年老代中的内存占用依然很高

可以推测JVM中确实存在大量被引用的年老代对象,无法被GC回收。

Step 2 - 代码review

接下来我们review了客户的规则应用架构和规则设计主要涵盖规则项目,对象模型,规则书写,规则刘设计,服务调用集成等方面,没有发现明显的可能导致内存泄漏的设计问题。

客户使用EJB实现远程规则服务调用,虽然这不是一个推荐的最佳实践,但一般不至于导致内存问题。

Step 3 - 内存分析

既然review代码无法找到明显问题,我们必须深入分析一下Java进程的heapdump文件,了解是否存在内存泄漏,以及到底是什么对象占用了大量的内存。

以下为测试服务器上重现的heapdump分析图:

可以看到在内存中大小为55,401,558 bytes的ruleset对象中包含30,016,942bytes的IlrTranslationDebugSupport对象,根据命名判断也应该是供Debug所用。值得注意的是,该对象在测试环境中尺寸不大,因为测试中仅使用了6个规则服务。 在生产环境中,会有数十个规则集加载到规则引擎中,导致的内存消耗也将非常可观。生产环境服务器的heapdump分析显示改类对象所占用内存达到500M以上,这会直接导致full GC的发生。

Step 4 - 解决方案

登陆RES,并选中对应规则集,查看ruleset.bom.enabled属性是否被设为true,将其设为false可以防止规则引擎生成IlrTranslationDebugSupport对象。

该属性主要用于监控用途,解释如下:

修改完所有相关规则集对应属性设置后,进行测试并观察heapdump, IlrTranslationDebugSupport对象应该不会再出现,IlrRuleset对象内存占用有明显下降(大约40%)。

结论

以上解决方案可以有效降低规则服务器内存消耗,此外,还有一些额外的建议可以帮助客户改善性能:

1. 使用POJO方式或其他轻量级的远程调用技术集成规则服务

2. 使用ODM8的Decision Engine特性

这两个建议同样适用于大部分ODM的设计场景,我会在其他文章中详细讲解。

注:本文发布于http://decisionrule.com/zh/2015/02/memory-performance-optimization/, 转载请注明出处。

时间: 2024-10-10 19:48:52

一个IBM ODM内存性能优化案例的相关文章

清算/报表/日终跑批程序之性能优化案例(一)

前言 不知不觉,技术人生系列·我和数据中心的故事来到了第五期.小y又和大家见面了! 前几期主要发了一些TroubleShooting的案例分享,其实小y最擅长的是性能优化,所以从这期开始,小y会陆续的分享更多的数据库性能优化案例. 进入正题,如果您的日终跑批/清算/报表等程序时快时慢,或者从某一天以后就一直变慢,作为运维DBA或开发的您,会怎么下手?还有,除了解决问题外,你要如何解答领导最关心的一个问题,"为什么现在有问题,但是以前没有问题呢"! 小y今天要和大家分享的就是这样一个性能

Android内存性能优化(内部资料总结)

刚入门的童鞋肯能都会有一个疑问,Java不是有虚拟机了么,内存会自动化管理,我们就不必要手动的释放资源了,反正系统会给我们完成.其实Java中没有指针的概念,但是指针的使用方式依然存在,一味的依赖系统的gc,很容易就造成了内存的浪费.   Java基于垃圾回收的内存机制 Java的内存管理机制会自动回收无用对象所占用的内存,减轻手工管理内存的负担 1.C/C++: 从申请.使用.释放都需要手工管理 2.Java:无用的对象的内存会被自动回收 什么样的对象是无用的对象 1.Java通过引用来操作一

Android内存性能优化(内部资料总结) eoe转载

刚入门的童鞋肯能都会有一个疑问,Java不是有虚拟机了么,内存会自动化管理,我们就不必要手动的释放资源了,反正系统会给我们完成.其实Java中没有指针的概念,但是指针的使用方式依然存在,一味的依赖系统的gc,很容易就造成了内存的浪费. Java基于垃圾回收的内存机制 Java的内存管理机制会自动回收无用对象所占用的内存,减轻手工管理内存的负担 1.C/C++: 从申请.使用.释放都需要手工管理 2.Java:无用的对象的内存会被自动回收 什么样的对象是无用的对象 1.Java通过引用来操作一个具

大型电商互联网性能优化案例

大型电商互联网性能优化案例 理论基础 The Theory 平台设计 Platform Design 业务结果 Business Impact 双11优化 架构思考 Architecture Takeaways   ----------------------------------------------------------------------------------------------------------------------------------------------

SQL性能优化案例分析

这段时间做一个SQL性能优化的案例分析, 整理了一下过往的案例,发现一个比较有意思的,拿出来给大家分享. 这个项目是我在项目开展2期的时候才加入的, 之前一期是个金融内部信息门户, 里面有个功能是收集各个上市公司的财报, 然后做各种分析, 数据图表展示, 使用的人数并不多, 仅百人左右. 2期打算面向行外用户, 刚开始预计同时在线人数不超过50, 就以50访问用户/秒的性能测试, 结果在把1期的图表类数据展示响应基本在5分钟左右, 属于严重不可用, 说说我们的服务器配置, 有2台网站前端承载用户

Android app性能优化大汇总之内存性能优化

写在最前: 本文的思路主要借鉴了2014年AnDevCon开发者大会的一个演讲PPT,加上把网上搜集的各种内存零散知识点进行汇总.挑选.简化后整理而成. 所以我将本文定义为一个工具类的文章,如果你在Android开发中遇到关于内存问题,或者马上要参加面试,或者就是单纯的学习或复习一下内存相关知识,都欢迎阅读.(本文最后我会尽量列出所参考的文章). 内存简介: RAM(random access memory)随机存取存储器.说白了就是内存. 一般Java在内存分配时会涉及到以下区域: 寄存器(R

SSRS Reports 2008性能优化案例

我们的一个Reporting Service服务上部署了比较多的SSRS报表,其中有一个系统的SSRS报表部署后,执行时间相对较长,加之供应商又在ASP.NET页面里面嵌套了Reporting Service的报表,使得用户对报表响应速度非常不满,于是和几个同事研究了一番如何定位.优化SSRS报表性能. 案例环境: 操作系统   :   Windows Server 2008 R2 Standard SP1 数据库版本 :   SQL Server 2008 R2 (SP2) - 10.50.4

老李案例分享:Weblogic性能优化案例

POPTEST的测试技术交流qq群:450192312 网站应用首页大小在130K左右,在之前的测试过程中,其百用户并发的平均响应能力在6.5秒,性能优化后提升两秒左右,结果在5秒内: 一.操作系统: 机器名    CPU    内存    软件环境(操作系统/应用软件)    备注应用服务器    3.07GHz*2    8GB    Linux    1台应用服务器(虚拟机)测试机    2.50GHz    4GB    WIN7    1台测试机 二.应用服务器 weblogic版本:

代码级性能优化案例(一)

一.压测服务器环境 服务器配置:4核CPU 8G内存 共4台MQ:RabbitMQ数据库:DB2SOA框架:公司内部封装的Dubbo缓存框架:Redis,Memcached统一配置管理系统:公司内部开发的系统 二.压测性能问题描述 1. 单台40TPS,加到4台服务器能到60TPS,扩展性几乎没有.2. 在实际生产环境中,经常出现数据库死锁导致整个服务中断不可用.3. 数据库事务乱用,导致事务占用时间太长.4. 在实际生产环境中,服务器经常出现内存溢出和CPU时间被占满.5. 程序开发的过程中,