HBase 系统架构及数据结构

一、基本概念

一个典型的Hbase Table 表如下:

1.1 Row Key (行键)

Row Key是用来检索记录的主键。想要访问HBase Table中的数据,只有以下三种方式:

  • 通过指定的Row Key进行访问;
  • 通过Row Key的range进行访问,即访问指定范围内的行;
  • 进行全表扫描。

Row Key可以是任意字符串,存储时数据按照Row Key的字典序进行排序。这里需要注意以下两点:

  • 因为字典序对Int排序的结果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。如果你使用整型的字符串作为行键,那么为了保持整型的自然序,行键必须用0作左填充。
  • 行的一次读写操作时原子性的 (不论一次读写多少列)。

1.2 Column Family(列族)

HBase表中的每个列,都归属于某个列族。列族是表的Schema的一部分,所以列族需要在创建表时进行定义。列族的所有列都以列族名作为前缀,例如courses:historycourses:math都属于courses这个列族。

1.3 Column Qualifier (列限定符)

列限定符,你可以理解为是具体的列名,例如courses:historycourses:math都属于courses这个列族,它们的列限定符分别是historymath。需要注意的是列限定符不是表Schema的一部分,你可以在插入数据的过程中动态创建列。

1.4 Column(列)

HBase中的列由列族和列限定符组成,它们由:(冒号)进行分隔,即一个完整的列名应该表述为列族名 :列限定符

1.5 Cell

Cell是行,列族和列限定符的组合,并包含值和时间戳。你可以等价理解为关系型数据库中由指定行和指定列确定的一个单元格,但不同的是HBase中的一个单元格是由多个版本的数据组成的,每个版本的数据用时间戳进行区分。

1.6 Timestamp(时间戳)

HBase 中通过row keycolumn确定的为一个存储单元称为Cell。每个Cell都保存着同一份数据的多个版本。版本通过时间戳来索引,时间戳的类型是 64位整型,时间戳可以由HBase在数据写入时自动赋值,也可以由客户显式指定。每个Cell中,不同版本的数据按照时间戳倒序排列,即最新的数据排在最前面。

二、存储结构

2.1 Regions

HBase Table中的所有行按照Row Key的字典序排列。HBase Tables 通过行键的范围(row key range)被水平切分成多个Region, 一个Region包含了在start key 和 end key之间的所有行。

每个表一开始只有一个Region,随着数据不断增加,Region会不断增大,当增大到一个阀值的时候,Region就会等分为两个新的Region。当Table中的行不断增多,就会有越来越多的Region

Region是HBase中分布式存储和负载均衡的最小单元。这意味着不同的Region可以分布在不同的Region Server上。但一个Region是不会拆分到多个Server上的。

2.2 Region Server

Region Server运行在HDFS的DataNode上。它具有以下组件:

  • WAL(Write Ahead Log,预写日志):用于存储尚未进持久化存储的数据记录,以便在发生故障时进行恢复。
  • BlockCache:读缓存。它将频繁读取的数据存储在内存中,如果存储不足,它将按照最近最少使用原则清除多余的数据。
  • MemStore:写缓存。它存储尚未写入磁盘的新数据,并会在数据写入磁盘之前对其进行排序。每个Region上的每个列族都有一个MemStore。
  • HFile :将行数据按照Key\Values的形式存储在文件系统上。

Region Server存取一个子表时,会创建一个Region对象,然后对表的每个列族创建一个Store实例,每个Store会有 0 个或多个StoreFile与之对应,每个StoreFile则对应一个HFile,HFile 就是实际存储在HDFS上的文件。

三、Hbase系统架构

3.1 系统架构

HBase系统遵循Master/Salve架构,由三种不同类型的组件组成:

Zookeeper

  1. 保证任何时候,集群中只有一个Master;
  2. 存贮所有Region的寻址入口;
  3. 实时监控Region Server的状态,将Region Server的上线和下线信息实时通知给Master;
  4. 存储HBase的Schema,包括有哪些Table,每个Table有哪些Column Family等信息。

Master

  1. 为Region Server分配Region ;
  2. 负责Region Server的负载均衡 ;
  3. 发现失效的Region Server并重新分配其上的Region;
  4. GFS上的垃圾文件回收;
  5. 处理Schema的更新请求。

Region Server

  1. Region Server负责维护Master分配给它的Region ,并处理发送到Region上的IO请求;
  2. Region Server负责切分在运行过程中变得过大的Region。

3.2 组件间的协作

HBase使用ZooKeeper作为分布式协调服务来维护集群中的服务器状态。 Zookeeper负责维护可用服务列表,并提供服务故障通知等服务:

  • 每个Region Server都会在ZooKeeper上创建一个临时节点,Master通过Zookeeper的Watcher机制对节点进行监控,从而可以发现新加入的Region Server或故障退出的Region Server;
  • 所有Masters会竞争性地在Zookeeper上创建同一个临时节点,由于Zookeeper只能有一个同名节点,所以必然只有一个Master能够创建成功,此时该Master就是主Master,主Master会定期向Zookeeper发送心跳。备用Masters则通过Watcher机制对主HMaster所在节点进行监听;
  • 如果主Master未能定时发送心跳,则其持有的Zookeeper会话会过期,相应的临时节点也会被删除,这会触发定义在该节点上的Watcher事件,使得备用的Master Servers得到通知。所有备用的Master Servers在接到通知后,会再次去竞争性地创建临时节点,完成主Master的选举。

四、数据的读写流程简述

4.1 写入数据的流程

  1. Client向Region Server提交写请求;
  2. Region Server找到目标Region;
  3. Region检查数据是否与Schema一致;
  4. 如果客户端没有指定版本,则获取当前系统时间作为数据版本;
  5. 将更新写入WAL Log;
  6. 将更新写入Memstore;
  7. 判断Memstore存储是否已满,如果存储已满则需要flush为Store Hfile文件。

更为详细写入流程可以参考:HBase - 数据写入流程解析

4.2 读取数据的流程

以下是客户端首次读写HBase上数据的流程:

  1. 客户端从Zookeeper获取META表所在的Region Server;
  2. 客户端访问META表所在的Region Server,从META表中查询到访问行键所在的Region Server,之后客户端将缓存这些信息以及META表的位置;
  3. 客户端从行键所在的Region Server上获取数据。

如果再次读取,客户端将从缓存中获取行键所在的Region Server。这样客户端就不需要再次查询META表,除非Region移动导致缓存失效,这样的话,则将会重新查询并更新缓存。

注:META表是HBase中一张特殊的表,它保存了所有Region的位置信息,META表自己的位置信息则存储在ZooKeeper上。

更为详细读取数据流程参考:

HBase原理-数据读取流程解析

HBase原理-迟到的‘数据读取流程部分细节

参考资料

本篇文章内容主要参考自官方文档和以下两篇博客,图片也主要引用自以下两篇博客:

官方文档:

更多大数据系列文章可以参见个人 GitHub 开源项目: 大数据入门指南

原文地址:https://www.cnblogs.com/danrenying/p/11079855.html

时间: 2024-11-05 16:11:46

HBase 系统架构及数据结构的相关文章

HBase系统架构及数据结构(转)

原文链接:Hbase系统架构及数据结构 HBase中的表一般有这样的特点: 1 大:一个表可以有上亿行,上百万列 2 面向列:面向列(族)的存储和权限控制,列(族)独立检索. 3 稀疏:对于为空(null)的列,并不占用存储空间,因此,表可以设计的非常稀疏. 下面一幅图是Hbase在Hadoop Ecosystem中的位置. 二.逻辑视图 HBase以表的形式存储数据.表有行和列组成.列划分为若干个列族(row family) Row Key 与nosql数据库们一样,row key是用来检索记

HBase 系列(二)—— HBase 系统架构及数据结构

一.基本概念 一个典型的 Hbase Table 表如下: 1.1 Row Key (行键) Row Key 是用来检索记录的主键.想要访问 HBase Table 中的数据,只有以下三种方式: 通过指定的 Row Key 进行访问: 通过 Row Key 的 range 进行访问,即访问指定范围内的行: 进行全表扫描. Row Key 可以是任意字符串,存储时数据按照 Row Key 的字典序进行排序.这里需要注意以下两点: 因为字典序对 Int 排序的结果是 1,10,100,11,12,1

Hbase系统架构

HBase 系统架构 HBase是Apache Hadoop的数据库,能够对大型数据提供随机.实时的读写访问.HBase的目标是存储并处理大型的数据.HBase是一个开源的,分布式的,多版本的,面向列的存储模型.它存储的是松散型数据. HBase特性: 1 高可靠性 2 高效性 3 面向列 4 可伸缩 5 可在廉价PC Server搭建大规模结构化存储集群 HBase是Google BigTable的开源实现,其相互对应如下: Google HBase文件存储系统  GFS  HDFS海量数据处

HBase 系统架构

HBase是Apache Hadoop的数据库,能够对大型数据提供随机.实时的读写访问.HBase的目标是存储并处理大型的数据.HBase是一个开源的,分布式的,多版本的,面向列的存储模型.它存储的是松散型数据. HBase特性: 1 高可靠性 2 高效性 3 面向列 4 可伸缩 5 可在廉价PC Server搭建大规模结构化存储集群 HBase是Google BigTable的开源实现,其相互对应如下:   Google HBase 文件存储系统 GFS HDFS 海量数据处理 MapRedu

【转】HBase 系统架构

原文链接 http://www.cnblogs.com/JemBai/archive/2012/07/21/2602432.html HBase是Apache Hadoop的数据库,能够对大型数据提供随机.实时的读写访问.HBase的目标是存储并处理大型的数据.HBase是一个开源的,分布式的,多版本的,面向列的存储模型.它存储的是松散型数据. HBase特性: 1 高可靠性 2 高效性 3 面向列 4 可伸缩 5 可在廉价PC Server搭建大规模结构化存储集群 HBase是Google B

列式存储 HBase 系统架构学习

   一.Hbase简介 HBase是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模,实现的编程语言为 Java.它是Apache软件基金会的Hadoop项目的一部分,运行于HDFS文件系统之上,为 Hadoop 提供类似于BigTable 规模的服务.因此,它可以容错地存储海量稀疏的数据. HBase在列上实现了BigTable论文提到的压缩算法.内存操作和布隆过滤器.HBase的表能够作为MapReduce任务的输入和输出,可以通过Java API来存取数据

列式存储hbase系统架构学习

一.Hbase简介 HBase是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模,实现的编程语言为 Java.它是Apache软件基金会的Hadoop项目的一部分,运行于HDFS文件系统之上,为 Hadoop 提供类似于BigTable 规模的服务.因此,它可以容错地存储海量稀疏的数据.HBase在列上实现了BigTable论文提到的压缩算法.内存操作和布隆过滤器.HBase的表能够作为MapReduce任务的输入和输出,可以通过Java API来存取数据,也可以

ios系统架构及常用框架

1.iOS基于UNIX系统,因此从系统的稳定性上来说它要比其他操作系统的产品好很多 2.iOS的系统架构分为四层,由上到下一次为:可触摸层(Cocoa Touch layer).媒体层(Media layer).核心服务层(Core Services layer).核心操作系统层(Core OS layer)如图: (1) 触摸层:为应用程序开发提供了各种常用的框架并且大部分框架与界面有关,本质上来说它负责用户在iOS设备上的触摸交互操作.它包括以下这些组件: Multi-Touch Event

腾讯分析系统架构解析

TA(Tencent Analytics,腾讯分析)是一款面向第三方站长的免费网站分析系统,在数据稳定性.及时性方面广受站长好评,其秒级的实时数据更新频率也获得业界的认可.本文将从实时数据处理.数据存储等多个方面带你深入探寻TA的系统架构及实现原理. 网站分析(Web Analytics)主要指的是基于网站的用户浏览行为,对网站的点击流数据和运营数据进行分析,以监控网站的运营状况,为网站的优化提供决策依据.网站分析系统已成为站长日常运营必不可少的工具,业界比较流行的网站分析系统主要有Google