Java堆外内存的使用

堆外内存的回收见HeapByteBuffer和DirectByteBuffer以及回收DirectByteBuffer

基本类型长度

在Java中有很多的基本类型,比如:

  • byte,一个字节是8位bit,也就是1B
  • short,16位bit,也就是2B
  • int,32位bit,也就是4B
  • long, 64位bit,也就是8B
  • char,16位bit,也就是2B
  • float,32位bit,也就是4B
  • double,64位bit,也就是8B

不同的类型都会按照自己的位数来存储,并且可以自动进行转换提升。byte、char、short都可以自动提升为int,如果操作数有long,就会自动提升为long,float和double也是如此。

大端小端

当前的存储器,多以byte为访问的最小单元,当一个逻辑上的地址必须分割为物理上的若干单元时就存在了先放谁后放谁的问题,于是端(endian)的问题应运而生了,对于不同的存储方法,就有大端(big-endian)和小端(little- endian)两个描述。

字节排序按分为大端和小端,概念如下

  • 大端:低地址位 存放 高有效字节
  • 小端:低地址位 存放 低有效字节

举个例子,一个char是有两个字节组成的,这两个字节存储可能会显示成如下的模样,比如字符a:

现在主流的CPU,intel系列的是采用的little endian的格式存放数据,而motorola系列的CPU采用的是big endian,ARM则同时支持 big和little,网络编程中,TCP/IP统一采用大端方式传送数据,所以有时我们也会把大端方式称之为网络字节序。特别需要注意的是,C/C++语言编写的程序里数据存储顺序是跟编译平台所在的CPU相关的,而 JAVA编写的程序则唯一采用big endian方式来存储数据。

举个例子说明,我的机子是32位windows的系统,处理器是AMD的。对于一个int型数0x12345678,为方便说明,这里采用16进制表示。这个数在不同字节顺序存储的CPU中储存顺序如下:

0x12345678   16进制,两个数就是一字节

高有效字节——>低有效字节: 12 34 56 78

          低地址位     高低址位

大端:  12  34        56   78

小端: 78  56        34   12

读写数据

在直接内存中,通过allocateDirect(int byte_length)申请直接内存。这段内存可以理解为一段普通的基于Byte的数组,因此插入和读取都跟普通的数组差不多。

只不过提供了基于不同数据类型的插入方法,比如:

  • put(byte) 插入一个byte
  • put(byte[]) 插入一个byte数组
  • putChar(char) 插入字符
  • putInt(int) 插入Int
  • putLong(long) 插入long

等等。

基本的属性值

它有几个关键的指标:

mark-->position-->limit-->capacity

另外,还有remaining=limit-position。

当前位置——position,position是当前数组的指针,指示当前数据位置。position可以通过position()获得,也可以通过position(int)设置。注意:position的位置要比limit小,比mark大。

空间容量——capacity,capacity是当前申请的直接内存的容量,它是申请后就不会改变的。capacity则可以通过capacity()方法获得。

限制大小——limit,我们可能想要改变这段直接内存的大小,因此可以通过一个叫做Limit的属性设置。limit则可以通过limit()获得,通过limit(int)进行设置。注意limit要比mark和position大,比capacity小。

标记位置——mark, mark,就是一个标记为而已,记录当前的position的值。常用的场景,就是记录某一次插入数据的位置,方便下一次进行回溯。

  • 可以使用mark()方法进行标记,mark方法标记当前的position,默认为-1
  • 使用reset()方法进行清除,reset方法重置position的位置为mark的位置,mark不能小于0,否则会出错
  • 使用rewind()方法进行初始化,重置mark为-1.position为0

使用案例

ByteBuffer buffer = ByteBuffer.allocateDirect(1024);
buffer.putChar(‘a‘);
buffer.putChar(‘c‘);
System.out.println("插入完数据 " + buffer);
buffer.mark();// 记录mark的位置
buffer.position(30);// 设置的position一定要比mark大,否则mark无法重置
System.out.println("reset前 " + buffer);
buffer.reset();// 重置reset ,reset后的position=mark
System.out.println("reset后 " + buffer);
buffer.rewind();//清除标记,position变成0,mark变成-1
System.out.println("清除标记后 " + buffer);
可以看到如下的运行结果:
插入完数据 java.nio.DirectByteBuffer[pos=4 lim=1024 cap=1024]
reset前 java.nio.DirectByteBuffer[pos=30 lim=1024 cap=1024]
reset后 java.nio.DirectByteBuffer[pos=4 lim=1024 cap=1024]
清除标记后 java.nio.DirectByteBuffer[pos=0 lim=1024 cap=1024]

剩余空间——remaing,remaing则表示当前的剩余空间

常用方法

clear(),这个方法用于清除mark和position,还有limit的位置。

flip(),这个方法主要用于改变当前的Position为limit,主要是用于读取操作。

compact(),这个方法在读取一部分数据的时候比较常用。它会把当前的Position移到0,然后position+1移到1,即类似substring(当前位置)的效果。

isDirect()这个方法用于判断是否是直接内存。如果是返回true,如果不是返回false。

rewind()这个方法用于重置mark标记。

时间: 2024-12-12 07:59:33

Java堆外内存的使用的相关文章

java堆外内存 (直接内存)

java堆外内存 (直接内存 非托管内存) 堆外内存的好处是: 可以扩展至更大的内存空间.比如超过1TB甚至比主存还大的空间. 理论上能减少GC暂停时间. 可以在进程间共享,减少JVM间的对象复制,使得JVM的分割部署更容易实现. 它的持久化存储可以支持快速重启,同时还能够在测试环境中重现生产数据. 例如NIO为了高效,提供了ByteBuffer ps:进程间通信的方法除了管道,信号,套接字等常规方法,共享内存,读写文件也可以实现进程间的通信. http://www.importnew.com/

google-perftools 分析JAVA 堆外内存

google-perftools 分析JAVA 堆外内存 分类: j2se2011-08-25 21:48 3358人阅读 评论(4) 收藏 举报 javahbasehtml工具os 原文转自:http://koven2049.iteye.com/blog/1142768,所有权利归原作者所有 最近线上运行的hbase发现分配了16g内存,但是实际使用了22g,堆外内存达到6g.感觉非常诡异.堆外内存用一般的工具很难查看,可以通过google-perftools来跟踪: http://code.

JAVA堆外内存

JVM可以使用的内存分外2种:堆内存和堆外内存. 堆内存完全由JVM负责分配和释放,如果程序没有缺陷代码导致内存泄露,那么就不会遇到java.lang.OutOfMemoryError这个错误. 使用堆外内存,就是为了能直接分配和释放内存,提高效率.JDK5.0之后,代码中能直接操作本地内存的方式有2种:使用未公开的Unsafe和NIO包下ByteBuffer. 关于Unsafe对象的简介和获取方式,可以参考:http://blog.csdn.net/aitangyong/article/det

Java 堆外内存

入口ByteBuffer.allocateDirect public static ByteBuffer allocateDirect(int capacity) { return new DirectByteBuffer(capacity); } DirectByteBuffer构造函数 DirectByteBuffer(int cap) { // package-private super(-1, 0, cap, cap); boolean pa = VM.isDirectMemoryPag

Java 堆外内存回收原理

原文: https://mp.weixin.qq.com/s?__biz=MzUyMDE1ODQ3NQ==&mid=2247483773&idx=1&sn=24f9eb05ebb39642de4b4951c6b11eaf&chksm=f9efed19ce98640fb65a87b82a85f78fa1eed0e2b5229a4d49a7c17baac95fe5c3ed29086c96&token=1716214908&lang=zh_CN 堆外内存简介Dir

java 堆外内存使用

最大堆外内存的配置 -XX:MaxDirectMemorySize=15g 分配堆外内存 java.nio.ByteBuffer#allocateDirect DirectByteBuffer 类是包权限的,使用 unsafe 分配和回收内存 class DirectByteBuffer extends MappedByteBuffer implements DirectBuffer DirectByteBuffer(int cap) { super(-1, 0, cap, cap); bool

JVM - 堆外内存

看了不少资料,总结下: 堆外内存 / 直接内存(Direct Memory)JDK1.4中引入的NIO类,基于channel和Buffer的I/O方式,可用Native库直接分配堆外内存,然后利用一个存储在堆中的DirectByteBuffer对象作为这块内存引用来操作.避免了在Java堆和Native堆中来回复制数据. 优点 1.堆外内存不影响 JVM GC,程序会减少 Full GC. 2 IO 操作使用堆外内存比堆内存快.因为堆内在flush到远程时,会先复制到直接内存(非堆内存),然后在

JVM初探- 使用堆外内存减少Full GC

JVM初探-使用堆外内存减少Full GC 标签 : JVM 问题: 大部分主流互联网企业线上Server JVM选用了CMS收集器(如Taobao.LinkedIn.Vdian), 虽然CMS可与用户线程并发GC以降低STW时间, 但它也并非十分完美, 尤其是当出现Concurrent Mode Failure由并行GC转入串行时, 将导致非常长时间的Stop The World(详细可参考JVM初探- 内存分配.GC原理与垃圾收集器). 解决: 由GCIH可以联想到: 将长期存活的对象(如L

java中使用堆外内存,关于内存回收需要注意的事和没有解决的遗留问题(等大神解答)

JVM可以使用的内存分外2种:堆内存和堆外内存,堆内存完全由JVM负责分配和释放,如果程序没有缺陷代码导致内存泄露,那么就不会遇到java.lang.OutOfMemoryError这个错误.使用堆外内存,就是为了能直接分配和释放内存,提高效率.JDK5.0之后,代码中能直接操作本地内存的方式有2种:使用未公开的Unsafe和NIO包下ByteBuffer. 关于Unsafe对象的简介和获取方式,可以参考我的另一篇博客  java获取Unsafe类的实例和取消eclipse编译的错误  使用By