HBase物理存储

1.Table中的所有行都是按照RowKey的字典序排列.

2.Table在行的方向上分割为多个HRegion

　　

3.Region按照大小分割.每个表刚开始只有一个Region,随着数据不断的插入表中,Region不断增大,当增大到一个阀值的时候Hregion就会等分为两个HRegion.当Table中的行不断增多,就会有越来越多的Region.

4.HRegion是HBase中分布式存储和负载均衡的最小单元.最小单元是指不同的HRegion 可以分布在不同HRegionServer上,但是同一个HRegion不能分布在不同的server上.

5.Hregion是分布式存储的最小单元,但却不是存储的最小单元.事实上,Hbase由一个或多个Store组成,每个Store保存一个ColumnFamily,每个Store又由一个memStore和0到多个StoreFile组成.

如图:StoreFile将以HFile的形式保存在HDFS|上

时间： 2024-10-29 19:06:21

HBase物理存储的相关文章

HBase 的存储结构

HBase 的存储结构 2016-10-17 杜亦舒 HBase 中的表常常是超级大表,这么大的表,在 HBase 中是如何存储的呢? HBase 会对表按行进行切分,划分为多个区域块儿,每个块儿名为 HRegion HBase 是集群结构,会把这些块儿分散存储到多个服务器中,每个服务器名为HRegionServer 服务器多了,就需要一个管理者 HMaster,负责 HRegion 的分配.HRegionServer 负载均衡的处理 等事务 当某个 HRegion 的大小达到阈值后,便会被分割

Hbase的存储 Rowkey设计

Hbase在生态系统中的位置 Hbase存储的逻辑视图 Hbase的存储格式 Hbase写数据流程 Hbase快速响应数据 Hbase在生态系统中的位置 HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持,Hadoop MapReduce为HBase提供了高性能的计算能力,Zookeeper为HBase提供了稳定服务和failover机制. Hbase存储的逻辑视图 1)行键(RowKey) -- 行键是字节数组, 任何字符串都可以作为行键:-- 表中的行

Innodb物理存储结构系列2 行记录格式

前一篇讨论了Innodb system,表空间,文件的关系及数据结构,这一篇记录下Innodb行记录的格式. 前提: 1. server层和innodb层都有自己对于record的记录格式,需要进行转换. 2. 物理文件上的记录存储,需要内存中的数据结构进行对应(任何数据都需要在内存中进行处理),进行存取的转换. 1. 测试case: create table `pp` ( `id` int(11) default null, `name1` varchar(100) default null,

Innodb物理存储结构系列1

本篇先介绍 下Innodb表空间,文件相关的内存数据结构. 1. 数据结构 Innodb的tablespace和文件的关系,是一对多的关系,先来看三个结构体 1. fil_system_struct: 表示Innodb的表空间内存cache,innodb一共包括两类tablespace,即 #define FIL_TABLESPACE 501 /*!< tablespace */ #define FIL_LOG 502 /*!< redo log */ 而fil_tablespace有包括了两

IOS 区分缓存 内存 物理存储 逻辑存储

1. 存储器分为内部存储器(内存)和外部存储器(外存). ①内存 内存是电脑内部临时存放数据的地方,供CPU直接读取,存放在其中的数据要靠电来维持,一旦断电就会丢失.因此,在操作电脑时,应及时地将需要保存的信息进行保存. 内存的特点是:容量小,速度极快,临时存放数据. ②外存 外存包括软盘.硬盘和光盘,存放在其中的数据靠磁来维持,因此可永久保存数据. 外存的特点:容量很大,速度较慢,可永久保存数据. 2. 物理卷Physical Volume,称为PV:指物理上硬盘,一个硬盘就是一个PV逻辑卷组

专题实验 Storage structure 物理存储

物理存储结构主要是指: extent的分配, 以及datablock 存储相关, 置于tablespace, segment 都是逻辑结构. tablespace : 逻辑结构, 没有实际物理存储. segment : 逻辑结构, 比如一个表, 索引等 object, 每次按照extent分配. extent : 物理结构,  物理上连续的 data block, 是一次分配的最小单位, extent 与 extent 之间可以是不连续的, 但是extent 内部的data block 是连续的

企业云存储与物理存储的成本比较

云计算很强大.很灵活也很便宜,嗯,也许并不是非常便宜.事实上,有时候云计算也很贵.但是,这都取决于你的观点.需求及处境. 我最近读了一篇关于这个主题的文章,讲的是关于创业公司停止使用云主机,是因为云主机很贵,而标准的物理服务器性能.内存及存储量都比以前大大增强了. 这无疑是事实.云计算服务,尤其是大行的云计算如aws.rackspace.softlayer及阿里云等是很强大的,除了cpu.ram及磁盘价格很低之外,这些云还具有其它的附加值. 同时,对于特定的云服务器,其配置成本不会比物理服务器少

Oracle的物理存储结构

Oracle数据库的体系结构是从某一角度来分析数据库的组成,工作过程以及数据库如何管理和组织数据的,主要包括物理存储结构,逻辑存储结构,内存结构以及进程结构. Oracle的物理存储结构: Oracle物理存储结构主要包括三种类型的物理文件,分别是数据文件(*.dbf),控制文件(*.ctl)和重做日志文件(*.log). 1. 数据文件 数据文件主要是存储数据的文件.例如,数据文存储的表的记录和索引.在这些数据文件中,如果用户频繁的访问某些数据,那么这些数据就会被存储在内存的缓冲区中.当对这些

Hbase数据存储原理与读写详解

1.HBase的数据存储原理 一个HRegionServer会负责管理很多个region 一个*region包含很多个store 一个列族就划分成一个store** 如果一个表中只有1个列族,那么每一个region中只有一个store 如果一个表中有N个列族,那么每一个region中有N个store 一个store里面只有一个memstore memstore是一块内存区域,写入的数据会先写入memstore进行缓冲,然后再把数据刷到磁盘 一个store里面有很多个StoreFile, 最后数据