一个自然语言处理程序,在封装为web-service后,部署到线上运行。
但最近出现了内存溢出的情况,频繁的out of memory。
先盲目尝试在启动脚本中增加-XX:-UseGCOverheadLimit。
因为根据原因未找到,依然频繁的out of memory,只能一直观察jstat -gcutil <pid>,看到老生代内存降不下来时,重启程序。
服务程序很简单,简单接收参数,自然语言处理,返回数据,除了自然语言处理模块,都是方法参数,不会出现内存泄漏的情况。
第一次解决这种内存溢出的问题,没有太大头绪。一直知道java 可以把内存dump下来,于是试着用mat分析内存。
分析内存时,直接查看dominator tree即可,这时查看的是所有root引用的实例,那个实例内存占用异常一目了然。
通过此种方式找到了内存溢出的原因:
有服务请求者发送的文本长达10万字,自然语言处理模块创建了大量的变量,占用了大量的内存,加之大文本的分析缓慢,占用的内存一直未释放,导致后续数据处理时无法获得充足的内存。
此时再来一个大文本,服务就挂了。
13333333333333~
时间: 2024-10-17 18:43:03