Hbase笔记——RowKey设计

一)、什么情况下使用Hbase

1)传统数据库无法承载高速插入、大量读取。

2)Hbase适合海量,但同时也是简单的操作。

3)成熟的数据分析主题,查询模式确立不轻易改变。

二)、现实场景

1、电商浏览历史

问题:

传统数据库

数据量很大,事情会变得复杂。

Order by 消耗很多性能。

大量发生又无法分布式处理,顾客需要事实看到自己足迹,传统数据库无法使用缓存。

Hbase

面向时间查询。

基于行健查询速度快,新产生数据存于内存中的memstore,完全没有IO开销。

分布式化解负荷。

思路:

RoeKey:userid

列族和列:book:bookid

/如果用userid作为RowKey进行存储,会发生因Rowkey范围制动进行分配存储节点时会发生因范围过小而之分配到一个或几个节点上发挥不出分布式系统的性能,

****为了充分利用分布式可以进行reverse  key,Hash技巧进行行健设计。

reverse  key    将userid进行导置如 userid为 11,12,13,14,15,16,17,18,19,20,11,12。

进行reverse  key后会变成 21,11,02,91,81,71,61,51,41,31,21,11.这样会随机画的分配到多个节点上。

Hash

将userid进行hash生成hash值进行userid映射。

2、浏览XXXX贴子的人还浏览了XXX贴

Hbase实现

两张表,u-t,t-u

U-t结构:RowKey为userid,列族和列thread:threadid

T-u结构:RowKey为userid,列族和列user:userid

查询:t-u  threadid->userid   再从u-t userid->threadid,  获得笛卡尔积(会存在大量无用数据)在程序中去重和统计。

2、多条件查询

例子:Student(sno,cardid,sname,sex,age)有时以sno进行查询,有事以cardid进行查询。

问题:传统型数据库中,一张中可以有多个字段为查询条件,但Hbase中只可以对Rowkey进行条件查询,

解决方案:主表 RowKey:sno。列族为学生 列为  cardid,name,sex,age.

辅助表:RowKey:cardid   列族和列为 sno。

复合行键设计

例子;

Userid (用户id)、 Messageid(邮件id)、<email-message>(邮件内容)

有时需要查询某人的所有邮件(Rowkey为userid即可),有事又需要查询某人具体的邮件(userid和 Messageid为查询条件,如果邮件又1000+利用辅助表进行查询不是十分适合)利用复合行键 RowKey:userid-Messageid    对userid查询时,对RowKey进行分词,

好处:便于分布式,便于多条件伸缩查询。

此随笔非原创

时间: 2024-10-10 01:31:10

Hbase笔记——RowKey设计的相关文章

Hbase中rowkey设计原则

Hbase中rowkey设计原则 1.热点问题 在某一时间段,有大量的数据同时对一个region进行操作 2.原因 对rowkey的设计不合理 对rowkey的划分不合理 3.解决方式 rowkey是hbase的读写唯一标识 最大长度是64KB. 4.核心原则 设计必须按照业务需求进行设计 5.长度原则 经验:10~100字节可以 官方:16字节,因为操作系统时8字节进行存储 6.散列原则 划分region是按照rowkey的头部进行划分. 有几种方式: )组合字段 id+timestamp )

HBase的RowKey设计

HBase是三维有序存储的,通过rowkey(行键),column key(column family和qualifier)和TimeStamp(时间戳)这个三个维度可以对HBase中的数据进行快速定位. HBase中rowkey可以唯一标识一行记录,在HBase查询的时候,有两种方式: 通过get方式,指定rowkey获取唯一一条记录 通过scan方式,设置startRow和stopRow参数进行范围匹配 全表扫描,即直接扫描整张表中所有行记录 rowkey长度原则 rowkey是一个二进制码

hbase 利用rowkey设计进行多条件查询

摘要 本文主要内容是通过合理Hbase 行键(rowkey)设计实现快速的多条件查询,所采用的方法将所有要用于查询中的列经过一些处理后存储在rowkey中,查询时通过rowkey进行查询,提高rowkey的利用率,加快查询速度.行键(rowkey)并不是简单的把所有要查询的列的值直接拼接起来,而是将各个列的数据转成整型(int)数据来存储.之后实现两个自定义的比较器(comparator):一个是相等比较器,用于实现类似于SQL的多条件精确查找功能. select * from table wh

HBase的rowkey设计(含实例)

转自:http://www.aboutyun.com/thread-7119-1-1.html 对于任何系统的数据设计,我们都想提高性能,达到资源最大化利用,那么对于hbase我们产生如下问题: 1.hbase rowkey设计如何才能提高性能?2.hbase rowkey如何设计才能散列到不同的节点上? 访问hbase table中的行,只有三种方式: 1 通过单个row key访问2 通过row key的range3 全表扫描 文中可能涉及到的API: Hadoop/HDFS:http://

大数据性能调优之HBase的RowKey设计

Hbase是三维有序存储的,通过rowkey(行键),column key(column family和qualifier)和TimeStamp(时间戳)这个三个维度可以对HBase中的数据进行快速定位. HBase中rowkey可以唯一标识一行记录,在HBase查询的时候,有以下几种方式: 通过get方式,指定rowkey获取唯一一条记录 通过scan方式,设置startRow和stopRow参数进行范围匹配 全表扫描,即直接扫描整张表中所有行记录 (较新的hbase还可以通过column和v

【HBase】Rowkey设计【转】

本章将深入介绍由HBase的存储架构在设计上带来的影响.如何设计表.row key.column等等,尽可能地使用到HBase存储上的优势. Key设计 HBase有两个基础的主键结构:row key和column key.它们分别用来表征存储的数据和数据的排序顺序.以下的几节将讨论如何通过key设计解决存储设计中发现的一些问题. 概念 相比于物理存储,首先谈谈表的逻辑结构.与传统的面向列的关系型数据库为基本单元不同,HBase的基本存储单元为列簇(column family).从图9-1可以看

Hbase rowkey设计一

转自 http://blog.csdn.net/lifuxiangcaohui/article/details/40621067 hbase所谓的三维有序存储的三维是指:rowkey(行主键),column key(columnFamily+qualifier),timestamp(时间戳)三部分组成的三维有序存储. 1.rowkey,我们知道rowkey是行的主键,而且hbase只能用个rowkey,或者一个rowkey范围即scan来查找数据.所以 rowkey的设计是至关重要的,关系到你应

基于HBASE的并行计算架构之rowkey设计篇

1.大数据在HBASE存储.计算以及查询的应用场景 海量数据都是事务数据,事务数据都是在时间的基础上产生的.数据的业务时间可能会顺序产生,也可能不会顺序产生,比如某些事务发生在早上10点,但是在下午5点才结束闭并生成出来,这样的数据就会造成存储加载时的时间连续性.另外海量数据的挖掘后产生的是统计数据,统计数据也有时间属性,统计数据如果进行保存必须保证在统计计算之后数据尽量不再变化,如果统计发生后又有新的事务数据产生,那么将重新触发统计计算然后重新保存覆盖原有已经存储的数据.其它数据则主要是以配置

HBase学习(十八)Hbase rowkey设计一

hbase所谓的三维有序存储的三维是指:rowkey(行主键),column key(columnFamily+qualifier),timestamp(时间戳)三部分组成的三维有序存储. 1.rowkey,我们知道rowkey是行的主键,而且hbase只能用个rowkey,或者一个rowkey范围即scan来查找数据.所以 rowkey的设计是至关重要的,关系到你应用层的查询效率.我们知道,rowkey是以字典顺序排序的.而存储的字节码,字典排序,我们知道,如果是字 母,那就是字母的顺序,比如