HBase底下的存储机制

Split机制：可以理解为HDFS上Block一分二的情况。每个Table一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阀值的时候，Hregion就会等分会两个新的Hregion。当table中的行不断增多，就会有越来越多的Hregion。

非实时，定期触发。

HRegion是Hbase中分布式存储和负载均衡的最小单元，相当于HDFS的Block。

Flush机制：

HStore存储是HBase存储的核心，其中由两部分组成，MemStore和StoreFiles。MemStore是Sorted Memory Buffer，用户写入的数据首先会写入MemStore，就返回了，所以写性能很高。当MemStore满了以后会Flush成一个StoreFile。非实时，定期触发。

Compact机制：

当StoreFile文件数量增长到一定阈值，会触发Compact合并操作，将多个StoreFiles合并成一个StoreFile，合并过程中会对Cell进行版本合并和数据删除。

Put操作=insert + update，每个cell有6个版本。

HLog：HLog的存在模仿Oracle的日志模式。

做HBase优化时候应当从合并分割时间调整进行优化

时间： 2024-12-10 11:33:42

HBase底下的存储机制的相关文章

HDFS存储机制(转)

Hadoop中HDFS的存储机制 HDFS(Hadoop Distributed File System)是Hadoop分布式计算中的数据存储系统,是基于流数据模式访问和处理超大文件的需求而开发的.下面我们首先介绍HDFS中的一些基础概念,然后介绍HDFS中读写操作的过程,最后分析了HDFS的优缺点. 1. HDFS中的基础概念 Block:HDFS中的存储单元是每个数据块block,HDFS默认的最基本的存储单位是64M的数据块.和普通的文件系统相同的是,HDFS中的文件也是被分成64M一块的

HBase与列存储

传统的行存储和(HBase)列存储的区别 1.为什么要按列存储 列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的.简单来说两者的区别就是如何组织表: ?  Row-based storage stores atable in a sequence of rows. ?  Column-based storage storesa table in a sequence of columns. 行式存储下一张表的

Java提高篇——通过分析 JDK 源代码研究 Hash 存储机制

阅读目录 通过 HashMap.HashSet 的源代码分析其 Hash 存储机制HashMap 的存储实现Hash 算法的性能选项HashMap 的读取实现HashSet 的实现 HashMap 和 HashSet 是 Java Collection Framework 的两个重要成员,其中 HashMap 是 Map 接口的常用实现类,HashSet 是 Set 接口的常用实现类.虽然 HashMap 和 HashSet 实现的接口规范不同,但它们底层的 Hash 存储机制完全一样,甚至 H

网络云盘的存储机制

之前对于网络云盘的存储机制有过猜测,今天看了网上的博文分析(下面贴有原文),大部分证实我的猜想.总结来说,目前国内的网络云盘的存储机制主要从以下三点着手: 对于用户使用习惯和行为模式进行调研和分析,可以大致分析正常用户一天/一月/一年的平均存储容量大小需求: 采用存储集群(云计算技术解决)和分布式存储等技术来实现用户文件的存储,用以解决用户突发性存储需求和需求缓慢增长的问题: 针对用户重复性的存储的问题,采用计算存储文件MD5值并只保存唯一文件的方式解决,通过诱导用户使用客户端上传来分担计算MD

通过分析 JDK 源代码研究 Hash 存储机制

通过 HashMap.HashSet 的源代码分析其 Hash 存储机制 实际上,HashSet 和 HashMap 之间有很多相似之处,对于 HashSet 而言,系统采用 Hash 算法决定集合元素的存储位置,这样可以保证能快速存.取集合元素:对于 HashMap 而言,系统 key-value 当成一个整体进行处理,系统总是根据 Hash 算法来计算 key-value 的存储位置,这样可以保证能快速存.取 Map 的 key-value 对. 在介绍集合存储之前需要指出一点:虽然集合号称

解读SQL Server 2014可更新列存储索引——存储机制

概述 SQL Server 2014被号称是微软数据库的一个革命性版本,其性能的提升的幅度是有史以来之最. 可更新的列存储索引作为SQL Server 2014的一个关键功能之一,在提升数据库的查询性能方面贡献非常突出.据微软统计,在面向OLAP查询统计类系统中,相比其他SQL传统版本的数据库,报表查询的性能最大可提升上十倍. 下面我们从存储的角度来了解下SQL Server 2014的可更新列存储索引. 什么是列存储 微软为了提升SQL Server的查询性能,更好的支持大数据分析,早在SQL

kafka学习之-文件存储机制

Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式.分区的.多副本的.多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志.访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目. 1.前言 一个商业化消息队列的性能好坏,其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一.下面将从Kafka文件存储机制和物理结构角度,分析Kafka是如何实现高效文件存储,及实

spark 存储机制详解

我们知道spark可以将运行过的RDD存储到内存上, 并在需要的时候重复利用. 那么spark是怎么完成这些工作的, 本文将通过分析源码来解释RDD的重复利用过程. 在上一篇文章解释了spark的执行机制, DAGScheduler负责分解action, 在DAGScheduler.getMissingParentStages中, spark首次利用了过去的RDD, 而所使用的函数就是DAGScheduler.getCacheLocs. 1 private val cacheLocs = new

php重写session的存储机制

重写session的存储机制 Session数据区 默认以 文件的形式存储与服务器操作系统临时目录中! 当 session数据区过多时,文件形式的存储,操作速度变慢.磁盘的读写(IO,input/output)开销是很大的. 实际项目中,都会采用其他的方式更快地存储session数据.典型的办法:数据库,内存. 以 数据库存储为例,讲解:session数据入库! 重写 与 session数据区直接的相关操作即可: 最基本的只有2个:读,写! 一:定义2个可以完成读和写的函数. 二:告知sessi