JVM中的本机内存跟踪

1.概述

有没有想过为什么Java应用程序通过众所周知的-Xms和-Xmx调优标志消耗的内存比指定数量多得多?出于各种原因和可能的优化,JVM可以分配额外的本机内存。这些额外的分配最终会使消耗的内存超出-Xmx限制。

在本教程中,我们将列举JVM中的一些常见内存分配源,以及它们的大小调整标志,然后学习如何使用本机内存跟踪监视它们。

2.原生分配

堆通常是Java应用程序中最大的内存使用者,但还有其他人。除了堆之外,JVM还从本机内存中分配出一个相当大的块来维护类的元数据,应用程序代码,JIT生成的代码,内部数据结构等。在下面的部分中,我们将探讨其中的一些分配。

2.1. Metaspace(元空间)

为了维护有关已加载类的一些元数据,JVM使用名为Metaspace的专用非堆区域。在Java 8之前,被称为PermGen或Permanent Generation。 Metaspace或PermGen包含有关已加载类的元数据,而不是它们的实例,它们保存在堆中。

这里重要的是堆大小配置不会影响元空间大小,因为Metaspace是一个堆外数据区。为了限制Metaspace大小,我们使用其他调优标志:

  • -XX:MetaspaceSize和-XX:MaxMetaspaceSize设置最小和最大元空间大小
  • 在Java 8之前,-XX:PermSize和-XX:MaxPermSize设置最小和最大PermGen大小

2.2. Threads(线程)

JVM中最耗费内存的数据区之一是堆栈,与每个线程同时创建。堆栈存储局部变量和部分结果,在方法调用中起着重要作用。

默认的线程堆栈大小取决于平台,但在大多数现代64位操作系统中,它大约为1 MB。此大小可通过-Xss调整标志进行配置。

与其他数据区域相比,当对线程数没有限制时,分配给堆栈的总内存实际上是无限制的。值得一提的是,JVM本身需要一些线程来执行其内部操作,如GC或即时编译。

2.3. Code Cache(代码缓存)

为了在不同平台上运行JVM字节码,需要将其转换为机器指令。执行程序时,JIT编译器负责此编译。

当JVM将字节码编译为汇编指令时,它会将这些指令存储在称为代码缓存的特殊非堆数据区中。可以像管理JVM中的其他数据区一样管理代码缓存。 -XX:InitialCodeCacheSize-XX:ReservedCodeCacheSize调整标志确定代码缓存的初始值和可能最大值。

2.4. Garbage Collection(垃圾回收)

JVM附带了一些GC算法,每个算法适用于不同的用例。所有这些GC算法都有一个共同的特点:他们需要使用一些堆外数据结构来执行他们的任务。这些内部数据结构消耗更多本机内存。

2.5. Symbols(符号)

让我们从 Strings 开始,这是应用程序和库代码中最常用的数据类型之一。由于它们无处不在,它们通常占据堆的很大一部分。如果大量的这些字符串包含相同的内容,那么堆的很大一部分将被浪费。

为了节省一些堆空间,我们可以存储每个 String 的一个版本,并让其他版本引用存储的版本。此过程称为 String Interning 。由于JVM只能内部编译时间字符串常量,我们可以手动调用字符串的intern方法来获取内部编译字符串。

JVM将实际存储的字符串存储在本机特殊固定大小并称为字符串表的哈希表中,也称为字符串池。我们可以通过-XX:StringTableSize调整标志配置表大小(即桶的数量)。

除了字符串表之外,还有另一个称为运行时常量池的本机数据区域。 JVM使用此池来存储常量,如编译时数字文字或必须在运行时解析的方法和字段引用。

2.6. Native Byte Buffers(本地字节缓冲区)

JVM通常有大量分配本机内存的嫌疑,但有时开发人员也可以直接分配本机内存。最常见的方法是被JNI调用的malloc和NIO中可直接调用的ByteBuffers。

2.7. Additional Tuning Flags(额外的调整标志)

在本节中,我们针对不同的优化方案使用了少量JVM调优标志。使用以下提示,我们几乎可以找到与特定概念相关的所有调优标志:

$ java -XX:+PrintFlagsFinal -version | grep <concept>

PrintFlagsFinal打印JVM中的所有-XX选项。例如,要查找所有与Metaspace相关的标志:

$ java -XX:+PrintFlagsFinal -version | grep Metaspace
      // truncated
      uintx MaxMetaspaceSize                          = 18446744073709547520                    {product}
      uintx MetaspaceSize                             = 21807104                                {pd product}
      // truncated

3. 本机内存跟踪 (NMT)

现在我们已经了解了JVM中本机内存分配的常见来源,现在是时候找出如何监视它们了。首先,我们应该使用另一个JVM调优标志启用本机内存跟踪:-XX:NativeMemoryTracking = off | sumary | detail。默认情况下,NMT处于关闭状态,但我们可以使其查看其观察的摘要或详细视图。

假设我们想要跟踪典型Spring Boot应用程序的本机分配:

$ java -XX:NativeMemoryTracking=summary -Xms300m -Xmx300m -XX:+UseG1GC -jar app.jar

在这里,我们在分配300 MB堆空间的同时启用NMT,G1作为我们的GC算法。

3.1. 实例快照

启用NMT后,我们可以使用jcmd命令随时获取本机内存信息:

$ jcmd <pid> VM.native_memory

为了找到JVM应用程序的PID,我们可以使用jps命令:

$ jps -l
7858 app.jar // This is our app
7899 sun.tools.jps.Jps

现在,如果我们将jcmd与适当的pid一起使用,VM.native_memory会使JVM打印出有关本机分配的信息:

$ jcmd 7858 VM.native_memory

让我们逐节分析NMT输出。

3.2. 总分配

NMT报告全部保留和提交的内存如下:

Native Memory Tracking:
Total: reserved=1731124KB, committed=448152KB

保留内存表示我们的应用程序可能使用的内存总量。相反,提交的内存表示我们的应用程序现在使用的内存量。

尽管分配了300MB的堆,我们的应用程序的总预留内存几乎是1.7 GB,远远超过它。类似地,提交的内存大约为440 MB,这再次远远超过300 MB。

在整体了解之后,NMT报告每个分配源的内存分配。所以,让我们深入探讨每个来源。

3.3. Heap(堆)

NMT按我们的预期报告堆分配:

Java Heap (reserved=307200KB, committed=307200KB)
          (mmap: reserved=307200KB, committed=307200KB)

300 MB的保留和已提交内存,与我们的堆大小设置相匹配。

3.4. Metaspace(元空间)

这是NMT关于加载类的元数据的报告:

Class (reserved=1091407KB, committed=45815KB)
      (classes #6566)
      (malloc=10063KB #8519)
      (mmap: reserved=1081344KB, committed=35752KB)

几乎保留了1 GB,45 MB保留加载6566个类。

3.5. Thread(线程)

这是关于线程分配的NMT报告:

Thread (reserved=37018KB, committed=37018KB)
       (thread #37)
       (stack: reserved=36864KB, committed=36864KB)
       (malloc=112KB #190)
       (arena=42KB #72)

总共有36 MB的内存被分配给37个线程的堆栈 - 每个堆栈大约1 MB。 JVM在创建时将内存分配给线程,因此保留和提交的分配是相等的。

3.6. Code Cache(代码缓冲区)

让我们看看NMT对JIT生成和缓存的汇编指令的报告:

Code (reserved=251549KB, committed=14169KB)
     (malloc=1949KB #3424)
     (mmap: reserved=249600KB, committed=12220KB)

目前,正在缓存大约13 MB的代码,这个数量可能会达到245 MB。

3.7. GC

以下是有关G1 GC内存使用情况的NMT报告:

GC (reserved=61771KB, committed=61771KB)
   (malloc=17603KB #4501)
   (mmap: reserved=44168KB, committed=44168KB)

我们可以看到,保留和已提交都接近60 MB,致力于帮助G1。

让我们来看看更简单的GC的内存使用情况,比如Serial GC:

$ java -XX:NativeMemoryTracking=summary -Xms300m -Xmx300m -XX:+UseSerialGC -jar app.jar

Serial GC 几乎使用不到1 MB:

GC (reserved=1034KB, committed=1034KB)
   (malloc=26KB #158)
   (mmap: reserved=1008KB, committed=1008KB)

显然,我们不能仅仅因为其内存使用而选择GC算法,因为串行GC的暂停回收本质可能会导致性能下降。但是,还有几个GC可供选择,它们各自平衡内存和性能。

3.8. Symbol(符号)

以下是有关符号分配的NMT报告,例如字符串表和常量池:

Symbol (reserved=10148KB, committed=10148KB)
       (malloc=7295KB #66194)
       (arena=2853KB #1)

将近10 MB分配给符号。

3.9. 随着时间的推移的NMT

NMT允许我们跟踪内存分配如何随时间变化。首先,我们应该将应用程序的当前状态标记为基线:

$ jcmd <pid> VM.native_memory baseline
Baseline succeeded

然后,过了一会儿,我们可以将当前的内存使用情况与该基线(baseline)进行比较:

$ jcmd <pid> VM.native_memory summary.diff

NMT使用+和 - 符号将告诉我们在此期间内存使用情况如何变化:

Total: reserved=1771487KB +3373KB, committed=491491KB +6873KB
-             Java Heap (reserved=307200KB, committed=307200KB)
                        (mmap: reserved=307200KB, committed=307200KB)

-             Class (reserved=1084300KB +2103KB, committed=39356KB +2871KB)
// Truncated

保留和提交的总内存分别增加了3 MB和6 MB。可以很容易地发现内存分配的其他波动。

3.10. 详细的NMT

NMT可以提供非常详细的有关整个存储空间映射的信息。要启用此详细报告,我们应使用 -XX:NativeMemoryTracking =detail 信息调整标志。

4. 结束语

在本文中,我们列举了JVM中本机内存分配的不同使用者。然后,我们学习了如何检查正在运行的应用程序以监视其本机分配。借助以上这些,我们可以更有效地调整应用程序以及运行时环境的大小。

原文:https://www.baeldung.com/native-memory-tracking-in-jvm

作者:Ali Dehghani

译者:Emma

原文地址:https://www.cnblogs.com/liululee/p/11143623.html

时间: 2024-10-25 06:03:57

JVM中的本机内存跟踪的相关文章

解析Java的JNI编程中的对象引用与内存泄漏问题

JNI,Java Native Interface,是 native code 的编程接口.JNI 使 Java 代码程序可以与 native code 交互--在 Java 程序中调用 native code:在 native code 中嵌入 Java 虚拟机调用 Java 的代码.JNI 编程在软件开发中运用广泛,其优势可以归结为以下几点: 利用 native code 的平台相关性,在平台相关的编程中彰显优势. 对 native code 的代码重用.native code 底层操作,更

jvm中的年轻代 老年代 持久代 gc

虚拟机中的共划分为三个代:年轻代(Young Generation).老年代(Old Generation)和持久代(Permanent Generation).其中持久代主要存放的是Java类的类信息,与垃圾收集要收集的Java对象关系不大.年轻代和年老代的划分是对垃圾收集影响比较大的. 年轻代: 所有新生成的对象首先都是放在年轻代的.年轻代的目标就是尽可能快速的收集掉那些生命周期短的对象.年轻代分三个区.一个Eden区,两个Survivor区(一般而言).大部分对象在Eden区中生成.当Ed

【转载】java项目中经常碰到的内存溢出问题: java.lang.OutOfMemoryError: PermGen space, 堆内存和非堆内存,写的很好,理解很方便

Tomcat Xms Xmx PermSize MaxPermSize 区别 及 java.lang.OutOfMemoryError: PermGen space 解决 解决方案 在 catalina.bat 里的 蓝色代码前加入: 红色代码 rem ----- Execute The Requested Command --------------------------------------- set JAVA_OPTS=%JAVA_OPTS%-server -Xms800m -Xmx1

JVM中常用堆栈跟踪内建指令

在使用Java的程序中难免会遇上程序异常的现象,此时就可以使用JDK下的jstack和jmap来跟踪观察JVM中的内存堆栈信息用以分析,不过注意的是如果是在windows版本或者是开源版中一般都是没有的,如果需要使用需要安装相应的开发调试工具,下面就简单的说一说: jstack 一般而言之后跟着都是Java程序运行的pid或者是相应的Java代码文件,如:jstack $pid,平时可以把相关的堆栈信息再导出到某一个文件中正用以进一步观察,如:jstack $pid > file.dump jm

jvm中堆栈以及内存区域分配

堆栈这个概念存在于数据结构中,也存在于jvm虚拟机中,在这两个环境中是截然不同的意思. 在数据结构中,堆栈是:堆 和栈两种数据结构,堆是完全二叉树,堆中各元素是有序的.在这个二叉树中所有的双亲节点和孩子节点存在着大小关系,如所有的双亲节点都大于孩子节点则 为大头堆,如果所有的双亲节点都小于其孩子节点说明这是一个小头堆,建堆的过程就是一个排序的过程,堆得查询效率也很高.栈是一种先进后出的线性表. 在jvm虚拟机中得堆栈对应内存的不同区域,和数据结构中所说的堆栈是两码事. 下面介绍jvm中得堆栈以及

JVM(java 虚拟机)内存设置

一.设置JVM内存设置 1. 设置JVM内存的参数有四个: -Xmx   Java Heap最大值,默认值为物理内存的1/4,最佳设值应该视物理内存大小及计算机内其他内存开销而定: -Xms   Java Heap初始值,Server端JVM最好将-Xms和-Xmx设为相同值,开发测试机JVM可以保留默认值: -Xmn   Java Heap Young区大小,不熟悉最好保留默认值: -Xss   每个线程的Stack大小,不熟悉最好保留默认值: 2. 如何设置JVM内存分配: (1)当在命令提

简单谈谈JVM中的GC(中)

书接上文,在了解JVM的分代模型后,接着来简单聊聊JVM中GC算法和不同的GC收集器[求关注] GC回收算法 一个GC回收算法通常会做这么几件事: 1.遍历内存,找到被引用的对象 2.清理掉这些未被标记对象的内存 3.被清理掉的内存放回内存中,供其他地方使用 上文也提及过,目前JVM中的搜索引用对象是用的根搜索方式,再重复引用下: 所有的Java对象构成一颗近似"搜索树"的结构,有一个root根节点,每次从root出发向下搜索,当整个树遍历完成后,那些不在其中的变量则视为"垃

如何设置Docker容器中Java应用的内存限制

如果使用官方的Java镜像,或者基于Java镜像构建的Docker镜像,都可以通过传递 JAVA_OPTS 环境变量来轻松地设置JVM的内存参数.比如,对于官方Tomcat 镜像,我们可以执行下面命令来启动一个最大内存为512M的tomcat实例 docker run --rm -e JAVA_OPTS='-Xmx512m' tomcat:8 在日志中,我们可以清楚地发现设置已经生效 "Command line argument: -Xmx512m" 02-Apr-2016 12:46

深入Java虚拟机:JVM中的Stack和Heap

转自:http://www.cnblogs.com/laoyangHJ/archive/2011/08/17/gc-Stack.html —————————————————————————————————————————————— 在JVM中,内存分为两个部分,Stack(栈)和Heap(堆),这里,我们从JVM的内存管理原理的角度来认识Stack和Heap,并通过这些原理认清Java中静态方法和静态属性的问题. 一般,JVM的内存分为两部分:Stack和Heap. Stack(栈)是JVM的内