jvm对大对象分配内存的特殊处理（转）

前段日子在和leader交流技术的时候，偶然听到jvm在分配内存空间给大对象时，如果young区空间不足会直接在old区切一块过去。对于这个结论很好奇，也比较怀疑，所以就上网搜了下，发现还真有这么回事。以下给出具体代码来说明：

首先定义好jvm内存各个区域的大小。我设定的是eden区8M，from和to各1M，old区10M，总共20M的空间，参数如下：

Shell代码  

  1. -Xms20M -Xmx20M -Xmn10M -XX:SurvivorRatio=8

紧接着，开始写程序。很简单，就是初始化一个9M的程序，然后用jstat命令看jdk的内存使用情况。

Java代码  

  1. public class App {
  2. private static final int _1MB = 1024 * 1024;
  3. /**
  4. * VM参数：-verbose:gc -Xms20M -Xmx20M -Xmn10M -XX:SurvivorRatio=8
  5. * -XX:PretenureSizeThreshold=3145728
  6. */
  7. public static void main(String[] args) {
  8. byte[] allocation = new byte[9*_1MB];
  9. while(true){
  10. try {
  11. Thread.sleep(1000);
  12. } catch (InterruptedException e) {
  13. e.printStackTrace();
  14. }
  15. }
  16. }
  17. }

然后打成jar，执行。结果如下：

Shell代码  

  1. S0     S1     E      O      P     YGC     YGCT    FGC    FGCT     GCT
  2. 0.00   0.00  18.04  90.00  23.08      0    0.000    20    0.027    0.027

果然，当对象大小大于eden区的时候会直接扔到old区。但我还不满足与此，于是将对象改大了些，改成了11M。再次尝试发现结果如下：

Shell代码  

  1. Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
  2. at com.taobao.jdkmem.App.main(App.java:17)

到这里结束了么？当然没有:)这个是一个大的完整的对象，当大对象本身是由一连串的小对象组成的时候，会不会不再OOM呢？于是改了代码再次尝试：

Java代码  

  1. public class App {
  2. private static final int _1MB = 1024 * 1024;
  3. /**
  4. * VM参数：-verbose:gc -Xms20M -Xmx20M -Xmn10M -XX:SurvivorRatio=8
  5. * -XX:PretenureSizeThreshold=3145728
  6. */
  7. public static void main(String[] args) {
  8. byte[][] allocation;
  9. allocation = new byte[11][_1MB]; // 直接分配在老年代中
  10. while(true){
  11. try {
  12. Thread.sleep(1000);
  13. } catch (InterruptedException e) {
  14. e.printStackTrace();
  15. }
  16. }
  17. }
  18. }

再次运行，结果如下：

Shell代码  

  1. S0     S1     E      O      P     YGC     YGCT    FGC    FGCT     GCT
  2. 0.00  38.06  67.68  60.02  23.10      1    0.007    14    0.012    0.019

果然，这次居然又被jvm给生吃下去了。不过这次并非所有的都在old区，而是有一部分还在young区里活着。看来jvm还是足够彪悍的。

由此可见，当出现大对象的时候，jvm用牺牲部分宝贵的old区的方式来保证了整个jvm的正常运转。所以，程序中尽量要避免大对象，如果实在不行，就让大对象活的尽量久些，莫要new一个然后gc掉再new一个再gc，这么爆jvm可不太友好。

到这里结束了吧？你猜对了，还没有:P既然知道jvm会对大对象申请内存做特殊处理，那么就在琢磨程序员有没有方法干预这个过程呢？答案是有的，就是使用这个参数-XX:PretenureSizeThreshold。这个参数的单位是Byte，其作用是当新对象申请的内存空间大于这个参数值的时候，直接扔到old区。做个试验就证明了:

Java代码  

  1. public class App {
  2. private static final int _1MB = 1024 * 1024;
  3. /**
  4. * VM参数：-verbose:gc -Xms20M -Xmx20M -Xmn10M -XX:SurvivorRatio=8
  5. * -XX:PretenureSizeThreshold=3145728
  6. */
  7. public static void main(String[] args) {
  8. byte[] allocation = new byte[4*_1MB];
  9. while(true){
  10. try {
  11. Thread.sleep(1000);
  12. } catch (InterruptedException e) {
  13. e.printStackTrace();
  14. }
  15. }
  16. }
  17. }

运行命令如下：

Java代码  

  1. java -jar -Xms20M -Xmx20M -Xmn10M -XX:SurvivorRatio=8 -XX:PretenureSizeThreshold=3145728 memtest-1.0-SNAPSHOT.jar

我设置的阈值是3M，意味着超过3M的对象会被直接扔到old区。结果是皆大欢喜，新对象直接被扔到了old区：

Shell代码  

  1. S0     S1     E      O      P     YGC     YGCT    FGC    FGCT     GCT
  2. 0.00   0.00  18.04  40.00  23.08      0    0.000     0    0.000    0.000

试验有了结果，自然而然心情愉悦。但这个参数使用时需要慎重，因为fullgc的代价很高，因此old区就显得非常宝贵。除非你真的清楚你在干什么，否则莫要轻易玩这个参数，万一搞个频繁fullgc就玩大了。ok，到此打完收工。

http://liuzhaodong89.iteye.com/blog/1668352
用jstat命令，这个是jvm自带的命令，也可查看heap中内存分配结果

jstat

用途：jstat利用了JVM内建的指令对Java应用程序的资源和性能进行实时的命令行的监控，包括了对Heap size和垃圾回收状况的监控等等。

语法结构：

Usage: jstat -help|-options

jstat -<option> [-t] [-h<lines>] <vmid> [<interval> [<count>]]

参数解释：

Options — 选项，我们一般使用 -gcutil 查看gc情况

vmid    — VM的进程号，即当前运行的java进程号

interval– 间隔时间，单位为秒或者毫秒

count   — 打印次数，如果缺省则打印无数次

具体option参数如下：

-class：统计class loader行为信息

-compile：统计编译行为信息

-gc：统计jdk gc时heap信息

-gccapacity：统计不同的generations（不知道怎么翻译好，包括新生区，老年区，permanent区）相应的heap容量情况

-gccause：统计gc的情况，（同-gcutil）和引起gc的事件

-gcnew：统计gc时，新生代的情况

-gcnewcapacity：统计gc时，新生代heap容量

-gcold：统计gc时，老年区的情况

-gcoldcapacity：统计gc时，老年区heap容量

-gcpermcapacity：统计gc时，permanent区heap容量

-gcutil：统计gc时，heap情况

输出内容含义如下：

S0  — Heap上的 Survivor space 0 区已使用空间的百分比

S1  — Heap上的 Survivor space 1 区已使用空间的百分比

E   — Heap上的 Eden space 区已使用空间的百分比

O   — Heap上的 Old space 区已使用空间的百分比

P   — Perm space 区已使用空间的百分比

YGC — 从应用程序启动到采样时发生 Young GC 的次数

YGCT– 从应用程序启动到采样时 Young GC 所用的时间(单位秒)

FGC — 从应用程序启动到采样时发生 Full GC 的次数

FGCT– 从应用程序启动到采样时 Full GC 所用的时间(单位秒)

GCT — 从应用程序启动到采样时用于垃圾回收的总时间(单位秒)

示例

实例使用1：

[[email protected] bin]# jstat -gcutil 25444

S0     S1     E      O      P     YGC     YGCT    FGC    FGCT     GCT

11.63   0.00   56.46  66.92  98.49 162    0.248    6      0.331    0.579

实例使用2：

[[email protected] bin]# jstat -gcutil 25444 1000 5

S0     S1     E      O      P     YGC     YGCT    FGC    FGCT     GCT

73.54   0.00  99.04  67.52  98.49    166    0.252     6    0.331    0.583

73.54   0.00  99.04  67.52  98.49    166    0.252     6    0.331    0.583

73.54   0.00  99.04  67.52  98.49    166    0.252     6    0.331    0.583

73.54   0.00  99.04  67.52  98.49    166    0.252     6    0.331    0.583

73.54   0.00  99.04  67.52  98.49    166    0.252     6    0.331    0.583

我们可以看到，5次young gc之后，垃圾内存被从Eden space区(E)放入了Old space区(O)，并引起了百分比的变化，导致Survivor space使用的百分比从73.54%(S0)降到0%(S1)。有效释放了内存空间。绿框中，我们可以看到，一次full gc之后，Old space区(O)的内存被回收，从99.05%降到67.52%。

图中同时打印了young gc和full gc的总次数、总耗时。而，每次young gc消耗的时间，可以用相间隔的两行YGCT相减得到。每次full gc消耗的时间，可以用相隔的两行FGCT相减得到。例如红框中表示的第一行、第二行之间发生了1次young gc，消耗的时间为0.252-0.252＝0.0秒。

常驻内存区(P)的使用率，始终停留在98.49%左右，说明常驻内存没有突变，比较正常。

如果young gc和full gc能够正常发生，而且都能有效回收内存，常驻内存区变化不明显，则说明java内存释放情况正常，垃圾回收及时，java内存泄露的几率就会大大降低。但也不能说明一定没有内存泄露。

GCT 是YGCT 和FGCT的时间总和。

以上，介绍了Jstat按百分比查看gc情况的功能。其实，它还有功能，例如加载类信息统计功能、内存池信息统计功能等，那些是以绝对值的形式打印出来的，比较少用，在此就不做介绍。

[[email protected] bin]# ps -ef | grep java

root     25917     1  2 23:23 pts/2    00:00:05 /usr/local/jdk1.5/bin/java -Djava.endorsed.dirs=/usr/local/jakarta-tomcat-5.0.30/common/endorsed -classpath /usr/local/jdk1.5/lib/tools.jar:/usr/local/jakarta-tomcat-5.0.30/bin/bootstrap.jar:/usr/local/jakarta-tomcat-5.0.30/bin/commons-logging-api.jar -Dcatalina.base=/usr/local/jakarta-tomcat-5.0.30 -Dcatalina.home=/usr/local/jakarta-tomcat-5.0.30 -Djava.io.tmpdir=/usr/local/jakarta-tomcat-5.0.30/temp org.apache.catalina.startup.Bootstrap start

jstat -class pid:显示加载class的数量，及所占空间等信息。

实例使用3：

[[email protected] bin]# jstat -class 25917

Loaded  Bytes  Unloaded  Bytes     Time

2629    2916.8       29   24.6     0.90

jstat -compiler pid:显示VM实时编译的数量等信息。

实例使用4：

[[email protected] bin]# jstat -compiler 25917

Compiled Failed Invalid   Time   FailedType FailedMethod

768      0       0   0.70            0

jstat –gccapacity :可以显示，VM内存中三代（young,old,perm）对象的使用和占用大小，如：PGCMN显示的是最小perm的内存使用量，PGCMX显示的是perm的内存最大使用量，PGC是当前新生成的perm内存占用量，PC是但前perm内存占用量。其他的可以根据这个类推， OC是old内纯的占用量。

[[email protected] bin]# jstat -gccapacity 25917

NGCMN       640.0

NGCMX       4992.0

NGC         832.0

S0C         64.0

S1C         64.0

EC          704.0

OGCMN       1408.0

OGCMX       60544.0

OGC         9504.0

OC          9504.0                  OC是old内纯的占用量

PGCMN       8192.0                  PGCMN显示的是最小perm的内存使用量

PGCMX       65536.0                 PGCMX显示的是perm的内存最大使用量

PGC         12800.0                 PGC是当前新生成的perm内存占用量

PC          12800.0                 PC是但前perm内存占用量

YGC         164

FGC         6

jstat -gcnew pid: new对象的信息

[[email protected] bin]# jstat -gcnew 25917

S0C    S1C    S0U    S1U   TT MTT  DSS      EC       EU     YGC     YGCT

64.0   64.0   47.4   0.0   2  15   32.0    704.0    145.7    168    0.254

jstat -gcnewcapacity pid: new对象的信息及其占用量

[[email protected] bin]# jstat -gcnewcapacity 25917

NGCMN  NGCMX   NGC   S0CMX  S0C   S1CMX  S1C   ECMX    EC      YGC   FGC

640.0  4992.0  832.0 64.0   448.0 448.0  64.0   4096.0  704.0  168     6

jstat -gcold pid: old对象的信息。

[[email protected] bin]# jstat -gcold 25917

PC       PU        OC          OU       YGC    FGC    FGCT     GCT

12800.0  12617.6     9504.0      6561.3   169     6    0.335    0.591

jstat -gcoldcapacity pid:old对象的信息及其占用量。

[[email protected] bin]# jstat -gcoldcapacity 25917

OGCMN      OGCMX        OGC         OC       YGC   FGC    FGCT     GCT

1408.0     60544.0      9504.0      9504.0   169     6    0.335    0.591

jstat -gcpermcapacity pid: perm对象的信息及其占用量。

[[email protected] bin]# jstat -gcpermcapacity 25917

PGCMN      PGCMX       PGC         PC      YGC   FGC    FGCT     GCT

8192.0    65536.0    12800.0    12800.0   169     6    0.335    0.591

jstat -printcompilation pid:当前VM执行的信息。

[[email protected] bin]# jstat -printcompilation -h3  25917 1000 5

每1000毫秒打印一次，一共打印5次，还可以加上-h3每三行显示一下标题。

Compiled  Size  Type Method

788     73    1 java/io/File <init>

788     73    1 java/io/File <init>

788     73    1 java/io/File <init>

Compiled  Size  Type Method

788     73    1 java/io/File <init>

788     73    1 java/io/File <init>

http://www.cnblogs.com/zhenjing/archive/2013/02/18/java_debug.html

时间： 2024-10-10 18:45:49

jvm对大对象分配内存的特殊处理（转）的相关文章

Java对象分配内存时的内存图

摘自高琪老师的JAVA教程. Java对象分配内存时的内存图

JVM对象分配内存的工作流程图

备注: 1.超大对象是指对象大小大于Eden+S0 2.新生代采用复制算法进行垃圾回收 3.老年代采用标记整理算法进行垃圾回收 原文地址:https://www.cnblogs.com/gaopengpy/p/12180381.html

JVM学习03_new对象的内存图讲解，以及引出static方法（转）

目录 -=-讲解对象创建过程中,-=-堆内存和栈内存的情况 -=-构造函数对类对象的成员变量的初始化过程 -=-构造函数出栈 -=-类的方法在不访问类对象的成员变量时造成的内存资源浪费怎么解决? -=-引出static方法 扯淡 --明确概念: -=-类:是对现实事物的抽象描述:举例:人,有年龄,姓名,高矮胖瘦等特征:有吃喝睡等行为动作:现实中的人由特征和行为组成{思想这种东东暂时还是不考虑吧} -=-怎么判别一个类里面时候需要有主函数mian():看这个类是否需要独立运行 -=-描述事物的类有

JVM学习03_new对象的内存图讲解，以及引出static方法

目录 -=-讲解对象创建过程中,-=-堆内存和栈内存的情况 -=-构造函数对类对象的成员变量的初始化过程 -=-构造函数出栈 -=-类的方法在不访问类对象的成员变量时造成的内存资源浪费怎么解决? -=-引出static方法 扯淡 --明确概念: -=-类:是对现实事物的抽象描述:举例:人,有年龄,姓名,高矮胖瘦等特征:有吃喝睡等行为动作:现实中的人由特征和行为组成{思想这种东东暂时还是不考虑吧} -=-怎么判别一个类里面时候需要有主函数mian():看这个类是否需要独立运行 -=-描述事物的类有

JVM学习-之对象的创建和内存分配

最近看JVM内存模型,看了很多文章,大都讲到JVM将内存区域划分分:Mehtod-Area(No heap) 方法区,Heap(堆)区,Program Counter Register(程序计数器),VM Stack(虚拟机栈),Native Mehtod Stack(本地方法栈),其中方法区和堆区是线程共享的.而虚拟机栈,本地方法栈,程序计数器是非线程共享的.每个java程序在自己的虚拟机上,然后告知虚拟机程序的运行入口.再被虚拟机字节码解释器加载运行.JVM运行的时候都会 分配好方法区和堆区

JVM学习：对象的创建和内存分配

1.对象的创建 java是面向对象的语言,因此对象的创建无时无刻都存在.在语言层面,使用new关键字即可创建出一个对象.但是在虚拟机中,对象创建的创建过程则是比较复杂的. 首先,虚拟机运到new指令时,会去常量池检查是否存在new指令中包含的参数,比如new People(),则虚拟机首先会去常量池中检查是否有People这个类的符号引用,并且检查这个类是否已经被加载了,如果没有则会执行类加载过程. 在类加载检查过后,接下来为对象分配内存当然是在java堆中分配,并且对象所需要分配的多大内存在类

JVM对象分配和GC分布【JVM】

最近在学习java基础结构,刚好学到了jvm,总结了以下并可以结合思维导图认识以下Jvm的对象: 栈:什么是栈? 先说一下栈的数据结构吧,栈它是一种先进后出的数据结构(FILO),跟队列刚好相反(先进先出FIFO),生活中有哪些例子, 举个例子 给子弹上膛,上弹的操作就类似于栈的数据结构,先压入的子弹后发射,因为它被压入到了最底部(栈底),所以,它会先发射最上面的子弹(栈顶), 说了这个概念,想必应该已经熟悉了栈的数据结构了吧. 再说一下栈,栈相当于一个桶,里面有方法区,局部变量表,方法返回地址

JVM GC 之二对象分配

Java体系中的内存自动管理其实是解决两大问题:给对象分配内存和回收分配个对象的内存. 一般情况下对象是在堆上分配(但也可能是经过JIT(Java即时编译)编译后被拆散为标量类型并间接的在栈上分配),对象主要是分配在新生代中的Eden区,如果启动了本地线程分配缓冲,将按线程优先分TLAB上.也可以通过配置 -XX:PretenureSizeThreshold参数直接分配在老年代中. 英文诗意:Max  Tenuring占有 Threshole阀值      对象有限分配在Eden区      多

python为不同的对象如何分配内存的小知识

id方法的返回值就是对象的内存地址. python中会为每个出现的对象分配内存,哪怕他们的值完全相等(注意是相等不是相同).如执行a=2.0,b=2.0这两个语句时会先后为2.0这个Float类型对象分配内存,然后将a与b分别指向这两个对象.所以a与b指向的不是同一对象:>>> a=2.0>>> b=2.0>>> a is bFalse>>> a==bTrue但是为了提高内存利用效率对于一些简单的对象,如一些数值较小的int对象,py