最近在跑大数据,发现 out of memory kill process (java) score or a child,查资料发现是操作系统linux low mem 太低,后来加大内存一样不管用,开始分析代码:
- 将代码中的String 字符串拼接改成StringBuilder(单线程速度比StringBuffer快)
- 将获取文件名称的方法file.listFiles() 改成 file.list()
- 将代码中的不必要的创建对象、数组开销去掉,尤其是在循环里
发现仍然有问题,通过free -lm发现low mem free 不断减小,buffer/cache不断增大,cpu利用率在百分之零点几,查阅资料发现,操作系统是先将数据放在cache中,一定时间后,然后将cache数据刷进磁盘中,之前误解以为free是可用内存,其实可用内存= free + cache, 于是做以下几点
- 把数据直接放入磁盘,这样的问题是cpu会很高,我的机器有4个cpu,跑下来没有问题
- 设置jvm的最大堆内存
跑了一下午没有问题,在这记一下。
时间: 2024-10-10 16:49:09