Hbase物理模型

?Hbase

? 一种高可靠,面向列,可伸缩,事实读写的分布式数据库。

利用HDFS作为其文件存储系统。

MapReduce处理数据。

Zookeeper分布式协同服务。

数据结构

Row Key:行健。(唯一标识)唯一检索条件

Time Stamp :时间撮。(版本标识)

Column:列族。 (建表时确定)

Row Key检索方式:

1 通过单个row key访问

2 通过row key的range

3 全表扫描

Hbase体系简图

Zookeeper

保证任何时候,集群中只有一个master

? 存贮所有Region的寻址入口。

? 实时监控Region server的上线和下线信息。 并实时通知Master

? 存储HBase的schema和table元数据

Hmaster为总控制节点

HMaster没有单点问题,HBase中可以启动多个HMaster,通过Zookeeper的Master Election机制保证总有一个Master在运行

主要负责Table和Region的管理工作:

1 管理用户对表的增删改查操作

2 管理HRegionServer的负载均衡,调整Region分布

3 Region Split后,负责新Region的分布

4 在HRegionServer停机后,负责失效HRegionServer上Region迁移

HreginService:一个物理节点(一台物理节点只能跑一个HreginService),可以管理多个实例HRegin

HLog:r日志。

Hregin可以是不同表的regin  每个表最初只有一个regin,

Hregin由多个store组成

Store:每个表的每个列族,

MemStore:数据刚刚些入时存在内存中的MemStore当达到一定阀值时写入硬盘StoreFile,每次写入形成一个StoreFile,

当StoreFile达到一定阀值时会把当前regin分割成两个,并有Hmaster分配相应的HreginService实现负债均衡,

写入每过一段时间Hbase将进行合并,将过期的,无用的列进行删除,Hfile:对应着HDFS文件。

客户端检索数据时顺序现在MemStore中找,找不到再在StoreFile中找。

来自为知笔记(Wiz)

时间: 2024-09-29 18:57:25

Hbase物理模型的相关文章

HBase基本概念

转自:http://www.bcmeng.com/hbase-basic/ Hbase概述 HBase构建在 HDFS 之上,Hbase内部管理的文件全部存储在HDFS 中 Hbase 特性 容量巨大 面向列 稀疏性:空值不占用存储空间 扩展性:热扩展 高可靠性 高性能 Hbase 表的特点 大 无模式 面向列 稀疏 对于空( null )的列,并不占用存储空间 数据多版本 数据类型单一 Hbase中的数据都是字符串,没有类型. hbase数据模型 Row Key 行键,Table的主键,Tab

Hbase原理

Hbase原理 概述 HBase是一个构建在HDFS上的分布式列存储系统:HBase是基于Google BigTable模型开发的,典型的key/value系统:HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储:从逻辑上讲,HBase将数据按照表.行和列进行存储.与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力.Hbase表的特点大:一个表可以有数十亿行,上百万列:无模式:每行都有一个可排序的主键和任意多

HBase介绍

HBase是一个分布式,面向对象的开源数据库,该技术来源于Google论文"Bigtable:一个结构化数据的分布式存储系统". 就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在hadoop之上提供了类似于Bigtable的能力. HBase是apache的Hadoop项目的子项目. HBase不同于一般的关系型数据库,它是一个适合于非结构化数据存储的数据库,另一个不同的是HBase基于列的而不是基于行模式. HBase存

初步掌握HBase

1.HBase概述 HBase是hadoop生态系统中的重要组成部分,是一个开源的.面向列.适合存储海量非结构化数据或半结构化数据,具备高可靠性.高性能.可灵活扩展伸缩.支持实时数据读写的分布式存储系统 存储在Hbase中的表的特征 1.大:一个表可以有上亿行,上百万列 2.任意模式:每行都有一个可排序的主键和任意多的列,列可以根据需要动态的增加,同一张表中的不同的行,它们的列可以不相同 3.面向列:面向列(簇)的存储和权限控制,列(簇)独立检索 4.稀疏:对于为空(NULL)的列,并不占用存储

hadoop学习笔记----- Hbase理论

HBase Hbase是一个分布式的.面向列的开源数据库,该技术来源于Chang et al所写的Google论文"Bigtable:一个结构化数据的分布式存储系统". 就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bittable的能力. HBase是Apache的Hadoop项目的子项目. HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库,另一个不同的是HBase基

Hbase 设计与开发实战

Hbase 概述 大数据及 NoSQL 的前世今生 传统的关系型数据库处理方式是基于全面的 ACID 保证,遵循 SQL92 的标准表设计模式(范式)和数据类型,基于 SQL 语言的 DML 数据交互方式.长期以来这种基于关系型数据库的 IT 信息化建设中发展良好,但受制于关系型数据库提供的数据模型,对于逐渐出现的,为预先定义模型的数据集,关系型数据库不能很好的工作.越来越多的业务系统需要能够适应不同种类的数据格式和数据源,不需要预先范式定义,经常是非结构化的或者半结构化的(如用户访问网站的日志

Hbase框架原理及相关的知识点理解、Hbase访问MapReduce、Hbase访问Java API、Hbase shell及Hbase性能优化总结

转自:http://blog.csdn.net/zhongwen7710/article/details/39577431 本blog的内容包含: 第一部分:Hbase框架原理理解 第二部分:Hbase调用MapReduce函数使用理解 第三部分:Hbase调用Java API使用理解 第四部分:Hbase Shell操作 第五部分:Hbase建表.读写操作方式性能优化总结 第一部分:Hbase框架原理理解 概述 HBase是一个构建在HDFS上的分布式列存储系统:HBase是基于Google

Hbase原理、基本概念、基本架构

概述 HBase是一个构建在HDFS上的分布式列存储系统;HBase是基于Google BigTable模型开发的,典型的key/value系统;HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储;从逻辑上讲,HBase将数据按照表.行和列进行存储.与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力.Hbase表的特点大:一个表可以有数十亿行,上百万列;无模式:每行都有一个可排序的主键和任意多的列,列可以根据

HBase是什么

HBase是什么? hbase是以列为中心的数据库,而传统关系数据库则是以行为中心的数据库.不过hbase这个列并非我们传统意义的列,而是列族.列族是hbase最小的存储单位,换句话说hbase底层数据都是以列族来进行组织的. Hbase是基于hadoop(hdfs)的分布式数据库系统; HBase是典型的key/value系统: hbase是是建立的hdfs之上,提供高可靠性.高性能.列存储.可伸缩.实时读写的数据库系统. 它介于nosql和RDBMS之间,仅能通过主键(rowkey)和主键的