Hbase split的过程以及解发条件

一、Split触发条件

 

1、  有任一一个Hfile的大小超过默认值10G时，都会进行split

  

2、  达到这个值不在拆分，默认为int_max，不进行拆分

 

 

 

3、compaction时，如果compact的store的大小超过了，则进行split

 

 

 

 

4、 flush之前会检测区域中HStoreFile数目是否超过hbase.hstore.blockingStoreFiles，如果超过且没有等待超时会调用CompactSplitThread.requestSplit(HRegion)

 

 

5、 flush之后会调用HRegion.checkSplit()检测是否需要split，如果需要则调用CompactSplitThread.requestSplit(HRegion)

 

 

6、人工触发

 

二、Split过程

 

1、启动一个CompactSplitThresd线程

2、 SplitRequest.run 

首先，实例化一个事务：在HDFS上的parent’s region 目录下创建一个.splits目录

 

其次，实例化两个RegionInfo: hri_a和 hri_b，赋予key的起始结束值，根据给定的splitkey 

然后，执行execute方法：

（1）createDaughters  

每个Reference文件管理原始文件一半的数据。Reference文件名字是一个ID，它使用被参考的Region的名字的Hash作为前缀。例如：1278437856009925445.3323223323。Reference文件只含有非常少量的信息，这些信息包括被分割的原始Region的Key以及这个文件管理前半段还是后半段。HBase使用HalfHFileReader类来访问Reference文件并从原始数据文件中读取数据

 

 Offline parent in meta.  向.META.表Put Split的信息

（2）openDaughter--DaughterOpener-- DaughterOpener.run()--openDaughterRegion--openHRegion

openDaughter--postOpenDeployTasks

addToOnlineRegions  // Should add it toOnlineRegions 

（3） transitionZKNode  :Finish off splittransaction, transition the zknode  ，更新Split的状态 (之后由Master来处理,CatalogJanitor 来清理多余文件夹) 

 

 

 

时间： 2024-10-28 15:31:50

Hbase split的过程以及解发条件的相关文章

Hbase split的三种方式和split的过程

在Hbase中split是一个很重要的功能,Hbase是通过把数据分配到一定数量的region来达到负载均衡的.一个table会被分配到一个或多个region中,这些region会被分配到一个或者多个regionServer中.在自动split策略中,当一个region达到一定的大小就会自动split成两个region.table在region中是按照row key来排序的,并且一个row key所对应的行只会存储在一个region中,这一点保证了Hbase的强一致性 . 在一个region中有

加密 解密过程详解及openssl自建CA  

            加密 解密过程详解及openssl自建CA 为了数据信息能够安全的传输要求数据要有一定的安全性那么数据的安全性包含哪些方面的特性呢?    NIST(美国信息安全署)做了如下的定义:    保密性:       1,数据的保密性 指的是数据或隐私不向非授权者泄漏                   2,隐私性  信息不被随意的收集    完整性:       1,数据的的完整性:信息或程序只能被指定或授权的方式改变不能被随意的             修改        

HBase之MemStore+Flush详解

MemStore简介: 上图为HBase的读写过程的大概描述: 写请求过程:client---------->WAL(Write Ahead LOG)----------->MemStore-------------> HFile--------->END 读请求过程:client---------->MemStore-------->BlockCache------->HFile------------>END MemStore在HBase中的位置: HB

加密、解密原理和openssl自建CA过程详解

一.加密和解密相关知识简介 1.信息安全标准 NIST(National Institute of Standards and Technology)美国国家标准与技术研究院,制定了网络信息安全与保密的三个要素: 保密性(confidentiality):信息不泄露给非授权用户.实体或过程,或供其利用的特性.(一般包括数据保密性.隐私性.) 完整性(Integrity):数据未经授权不能进行改变的特性.即信息在存储或传输过程中保持不被修改.不被破坏和丢失的特性.(一般包括数据完整性.系统完整性.

[转载] Android签名机制之—签名过程详解

本文转载自: http://www.wjdiankong.cn/android%E7%AD%BE%E5%90%8D%E6%9C%BA%E5%88%B6%E4%B9%8B-%E7%AD%BE%E5%90%8D%E8%BF%87%E7%A8%8B%E8%AF%A6%E8%A7%A3/ 一.前言 又是过了好长时间,没写文章的双手都有点难受了.今天是圣诞节,还是得上班.因为前几天有一个之前的同事,在申请微信SDK的时候,遇到签名的问题,问了我一下,结果把我难倒了..我说Android中的签名大家都会熟悉

Android签名机制之---签名过程详解

一.前言 又是过了好长时间,没写文章的双手都有点难受了.今天是圣诞节,还是得上班.因为前几天有一个之前的同事,在申请微信SDK的时候,遇到签名的问题,问了我一下,结果把我难倒了..我说Android中的签名大家都会熟悉的,就是为了安全,不让别人修改你的apk,但是我们真正的有了解多少呢?所以准备两篇文章好好介绍一下Android中签名机制. 在说道Android签名之前,我们需要了解的几个知识点 1.数据摘要(数据指纹).签名文件,证书文件 2.jarsign工具签名和signapk工具签名 3

下拉刷新-过程详解

Android的ListView是应用最广的一个组件,功能强大,扩展性灵活(不局限于ListView本身一个类),前面的文章有介绍分组,拖拽,3D立体,游标,圆角,而今天我们要介绍的是另外一个扩展ListView:下拉刷新的ListView.    下拉刷新界面最初流行于iphone应用界面,如图:     然后在Android中也逐渐被应用,比如微博,资讯类.    所以,今天要实现的结果应该也是类似的,先贴出最终完成效果,如下图,接下来我们一步一步实现. 1. 流程分析    下拉刷新最主要

FreakZ学习笔记：FreakZ通信网络接收过程详解

FreakZ接收过程详解 FreakZ的接收过程与发送过程刚好相反,层次关系依次为Radio->PHY->MAC->NWK->APS,下面就具体流程做阐述说明: 当Radio层接收到广播信号时,首先会触发中断函数cc2538_rf_rx_tx_isr,该中断函数会跳转到cc2538_rf_process这个进程,process_poll是触发该进程函数,优先级高于process_event: void cc2538_rf_rx_tx_isr(void) { ENERGEST_ON(

Mysql加锁过程详解（9）-innodb下的记录锁，间隙锁，next-key锁

Mysql加锁过程详解(1)-基本知识 Mysql加锁过程详解(2)-关于mysql 幻读理解 Mysql加锁过程详解(3)-关于mysql 幻读理解 Mysql加锁过程详解(4)-select for update/lock in share mode 对事务并发性影响 Mysql加锁过程详解(5)-innodb 多版本并发控制原理详解 Mysql加锁过程详解(6)-数据库隔离级别(1) Mysql加锁过程详解(6)-数据库隔离级别(2)-通过例子理解事务的4种隔离级别 Mysql加锁过程详解