hbase memstorelab

关于MemStore的补充

在通过HStore.add向store中添加一个kv时,首先把数据写入到memstore中。这一点没有什么说明;

publiclongadd(finalKeyValue
kv) {

lock.readLock().lock();

try{

returnthis.memstore.add(kv);

}finally{

lock.readLock().unlock();

}

}

以上代码中调用memstore.add方法,

longadd(finalKeyValue
kv) {

KeyValue toAdd =maybeCloneWithAllocator(kv);

returninternalAdd(toAdd);

}

在上面的调用中,首先是通过maybeCloneWithAllocator去申请kv的内存。

privateKeyValue maybeCloneWithAllocator(KeyValue
kv) {

检查MemStoreLAB是否存在,如果不存在,表示没有配置MemStoreLAB

此配置通过hbase.hregion.memstore.mslab.enabled完成,默认值为true.

通过hbase.hregion.memstore.mslab.chunksize配置chunksize大小,默认值为2048*1024(2m),

个人认为,这块需要根据业务上的KV大小,去配置此大小,不然会导致空间的浪费

通过hbase.hregion.memstore.mslab.max.allocation配置单个KV的最大分配大小,默认为256*1024(256k),

如果单个KV的大小超过了指定的大小,直接在堆内存上生成。

MemStoreLAB(mslab)主要是为了解决memstoreflush的内存碎片问题,而导致的javagc。

hbase通过mslab每次向内存分配一个chunksize大小的块,所有的kv过来时,向此chunk中添加,

chunk不够时再重新申请一个新的chunk块。每次flush时,直接把占用的chunk块进行flush,

从而减少minorgc的发生频率。

if(allocator==
null){

returnkv;

}

intlen = kv.getLength();

检查kv是否超过了配置的单个大小,如果超过,不做处理,否则从一个chunk中得到一个allocation或者新生成一个chunk

Allocation alloc =allocator.allocateBytes(len);

if(alloc ==
null){

//The allocation was too large, allocator decided

//not to do anything with it.

returnkv;

}

assertalloc.getData() !=
null;

System.arraycopy(kv.getBuffer(),kv.getOffset(), alloc.getData(), alloc.getOffset(), len);

KeyValue newKv =
newKeyValue(alloc.getData(), alloc.getOffset(), len);

newKv.setMvccVersion(kv.getMvccVersion());

returnnewKv;

}

在memstore中通过internalAdd-->addToKVSet把一个kv添加到memstore听kvset容器中,

此容器每一次的add操作都会进行排序操作,排序的比较器通过KeyValue.KVComparator来实现。

kvset是一个KeyValueSkipListSet的实例,此实例里面有一个ConcurrentSkipListMap的map容器。

每一次的add操作,都会把kv当成map的key与value一起插入。

hbase memstorelab

时间: 2024-11-06 11:33:38

hbase memstorelab的相关文章

hbase源码系列(十三)缓存机制MemStore与Block Cache

这一章讲hbase的缓存机制,这里面涉及的内容也是比较多,呵呵,我理解中的缓存是保存在内存中的特定的便于检索的数据结构就是缓存. 之前在讲put的时候,put是被添加到Store里面,这个Store是个接口,实现是在HStore里面,MemStore其实是它底下的小子. 那它和Region Server.Region是什么关系? Region Server下面有若干个Region,每个Region下面有若干的列族,每个列族对应着一个HStore. HStore里面有三个很重要的类,在这章的内容都

Hbase Region Server整体架构

Region Server的整体架构 本文主要介绍Region的整体架构,后续再慢慢介绍region的各部分具体实现和源码 RegionServer逻辑架构图 RegionServer职责 1.      监听协作,通过zk来侦听master.meta位置.集群状态等信息的变化,更新本地数据. 2.      管理region的offline.online.open.close等操作,这些操作是和hmaster配合这来做的,region的状态有如下这些 offline.opening.open.

hbase针对fullgc所做的优化(Memstore所作的优化 针对BlockCache所作优化)

先看:深入研究java gc https://blog.51cto.com/12445535/2372976老年代 CMS gc回收算法 对hbase的影响 https://blog.51cto.com/12445535/2373206 1.最原始的HBase CMS GC相当严重,经常会因为碎片过多导致Promotion Failure,严重影响业务的读写请求.2.分别是针对Memstore所作的两个优化:Thread-Local Allocation Buffer和MemStore Chun

HBase最佳实践-CMS GC调优(从gc本身参数调优)

同志们,此部分,重要的不能再重要了1.HBase发展到当下,对其进行的各种优化从未停止,而GC优化更是其中的重中之重.hbase gc调优方向从0.94版本提出MemStoreLAB策略.Memstore Chuck Pool策略对写缓存Memstore进行优化开始,到0.96版本提出BucketCache以及堆外内存方案对读缓存BlockCache进行优化,再到后续2.0版本宣称会引入更多堆外内存,可见HBase会将堆外内存的使用作为优化GC的一个战略方向. 然而无论引入多少堆外内存,都无法避

hbase过滤器(1)

最近在公司做hbase就打算复习下它的过滤器以便不时之需,RowFilter根据行键(rowkey)筛选数据 public void filter() throws IOException { Filter rf = new RowFilter(CompareFilter.CompareOp.LESS, new BinaryComparator(Bytes.toBytes("35643b94-b396-4cdc-abd9-029ca495769d"))); Scan s = new S

[原创]HBase学习笔记(1)-安装和部署

HBase安装和部署 使用的HBase版本是1.2.4 1.安装步骤(默认hdfs已安装好) # 下载并解压安装包 cd tools/ tar -zxf hbase-1.2.4-bin.tar.gz   # 重命名为hbase mv hbase-1.2.4 hbase # 将hadoop目录下的hdfs-site.xml 和 core-stie.xml拷贝到 hbase下的conf 目录中 cd /home/work/tools/hbase/conf cp /home/work/tools/ha

Hbase delete遇到的常见异常: Exception in thread "main" java.lang.UnsupportedOperationException

hbase 执行批量删除时出现错误: Exception in thread "main" java.lang.UnsupportedOperationException at java.util.AbstractList.remove(AbstractList.java:161) at org.apache.hadoop.hbase.client.HTable.delete(HTable.java:852) 这种异常其实很常见,remove操作不支持,为什么会出现不支持的情况呢?检查

HBase学习

记录HBase的学习过程.之后会陆续添加内容. 读取hbase的博客,理解hbase是什么.推荐博文: 1,HBase原理,基础架构,基础概念 2,HBase超详细介绍 ----------------------------------------------------- 一.直接实践吧! 1,HBase standalone模式安装 版本:1.2.4 参考文档:http://archive.cloudera.com/cdh5/cdh/5/hbase-0.98.6-cdh5.3.3/book

基于HBase的时间序列数据库(改进)

基本知识: 期望:1.利用高效的行.列键组织数据存储方式和使用平滑的数据持久策略缓解集群压力 2.利用zookeeper保障数据一致性(选举Leader) 提高性能的技术:数据压缩.索引技术.实体化视图 zookeeper 监控HRegionServer,保存Root Region实际地址,HMaster物理地址,减轻分布式应用从头开发协作服务的负担 HMaster管理HRegionServer负载均衡 日志根据Hadoop的SequenceFile存储 HBase主要处理实际数据文件和日志文件