HBase存储时间相关多列数据的两种方案

所谓“时间相关多列数据”指的是同一个Key下具有多个属性数据，并且这些数据与时间具有相关性，多数场景是该Key对应在不同时间时刻的行为数据。在实际应用中，这类数据很多，例如电子商务网站上用户最近一段时间浏览的宝贝集合、访问的URL列表等。

使用HBase存储此类数据时，有以下两种常用的方案：

多行单列

表结构设计

Row Key：用户标识ID + (Long.MAX_VALUE - timestamp)

Column Family：’cf’

Column Qualifier：’’

Value：宝贝、URL等

其中，使用(Long.MAX_VALUE – timestamp)作为Row Key的后半部分是为了便于获取最近插入的数据，一个用户标识ID下的数据存储在多个Row Key下，每个Row Key下仅有一个Column Qualifier，表示该用户的一次时间相关的访问数据（访问宝贝、URL等）。

查询方式

1）查询某个特定timestamp下的记录，则使用用户标识ID + (Long.MAX_VALUE - timestamp)进行Get查找；

2）查询某个用户标识ID下所有的记录，则通过Scan.setStartRow(uid)和Scan.setStopRow(uid+1)进行Scan查找；

3）查询某个用户标识ID下最近时间内的N条记录，则通过Scan.setStartRow(uid)和Scan.setStopRow(uid+1)进行Scan查找，但是为了只获取N条记录，可以设置Scan.setCaching(N)优化查询，同时做一次ResultScanner.next(N)得到结果。

单行多列

表结构设计

Row Key：用户标识ID

Column Family：’cf’

Column Qualifier：(Long.MAX_VALUE - timestamp)

Value：宝贝、URL等

其中，使用(Long.MAX_VALUE – timestamp)作为Column Qualifier是为了便于获取最近插入的数据，一个用户标识ID下的数据存储在一个Row Key下，每个Row Key下会有多个Column Qualifier，表示该用户的所有时间相关的访问数据（访问宝贝、URL等）。

查询方式

1）查询某个特定timestamp下的记录，则使用用户标识ID进行Get查找，同时通过Get.addColumn(‘cf’, (Long.MAX_VALUE – timestamp))方法限定要查询的Column Qualifier；

2）查询某个用户标识ID下所有的记录，则直接使用用户标识ID进行Get查找，通过Get.addFamily(‘cf’)方法添加整个Column Family；

3）查询某个用户标识ID下最近时间内的N条记录，则直接使用用户标识ID进行Get查找，通过Get.addFamily(‘cf’)方法添加整个Column Family，通过ColumnCountGetFilter(int N)限制最多要查询返回N条记录。

总结

两种方式都能满足以上基本的查询需求，但由于目前HBase在单行多列的场景下，读写性能都有一定的衰减（具体情况请关注博客，后续会对这块给出详细的性能测试），因此，个人建议采取第一种方案，如果确定Column Qualifier个数很少（例如2~10个），或者有其他特殊需求的话，也可采取第二种方案。

HBase存储时间相关多列数据的两种方案

时间： 2024-11-07 19:53:47

HBase存储时间相关多列数据的两种方案的相关文章

待处理数据的两种模型

在业务处理时,经常会存在待处理的业务数据,在处理这部分数据时,有如下的处理方式. Worker模型:包含Worker处理类(Processor),调度处理框架,时间规则配置. Worker处理类,待处理业务数据的处理类. 调度处理框架,根据时间配置的规则, 在指定的时间点内,调用worker处理类. 时间规则配置,设置worker处理类的启动时间以及频率. 优点:1.实现简单,现在有Spring和Quartz框架,直接配置好时间表达式之后以及处理器之后,就可以直接执行了. 2.各种Worker之

C语言中数据的两种属性及static的作用

C语言中数据有两种属性:数据类型和存储类别.数据类型定义了数据格式(长度),存储类别定义了数据的作用域和生命期. 1.变量的声明 1.1 变量的声明的一般形式:存储类别 数据类型 变量名;数据类型以int为例: 自动变量:auto int i;//自动变量是局部变量 局部变量:在函数内部定义的变量,局部变量缺省存储类别时就是自动变量 作用域:从定义开始到函数结束. 生命期:从函数调用开始到函数推出为止. 外部变量/全局变量:在函数外部定义而没有指出存储类别的变量 定义外部变量:extern in

关于Mysql删除表数据的两种方式对比

1.delete from table_name 一行一行删除,只删除表数据,auto_increament仍停留在最后一天数据的下一个值. 2.truncate table_name 快捷删除表数据.先删除整个表,然后重新建表结构.auto_increament从1开始. 关于Mysql删除表数据的两种方式对比,布布扣,bubuko.com

SQL Server 批量插入数据的两种方法

在SQL Server 中插入一条数据使用Insert语句,但是如果想要批量插入一堆数据的话,循环使用Insert不仅效率低,而且会导致SQL一系统性能问题.下面介绍SQL Server支持的两种批量数据插入方法:Bulk和表值参数(Table-Valued Parameters). 运行下面的脚本,建立测试数据库和表值参数. [c-sharp] view plaincopy --Create DataBase create database BulkTestDB; go use BulkTes

MySQL中删除数据的两种方法

转自:http://blog.csdn.net/apache6/article/details/2778878 在MySQL中有两种方法可以删除数据,一种是DELETE语句,另一种是TRUNCATE TABLE语句. DELETE语句可以通过WHERE对要删除的记录进行选择.而使用TRUNCATE TABLE将删除表中的所有记录.因此,DELETE语句更灵活. 如果要清空表中的所有记录,可以使用下面的两种方法: DELETE FROM table1 TRUNCATE TABLE table1 其

向服务器传json数据的两种方式

接触到了向服务器传JSON数据,那么怎么把参数以JSON的形式,传到服务器呢.下面来说说,json字符串的得到方法.一共有两种方式来得到Json的字符串.当然,向服务器上传,不能传字符串,是要转成NSData的,也就是二进制的形式.这个在此不讨论,只说,怎么得到json的字符串. - (void)viewDidLoad { [super viewDidLoad]; // Do any additional setup after loading the view. //第一种方法,是把要传的参数

DataGridView显示数据的两种方法

1.简单介绍 DataGridView空间是我们常用的显示数据的控件,它有极高的可配置性和可扩展性. 2.显示数据 DataGridView显示数据一般我们常用的有两种方法,一种是直接设置DataSoure属性就可以绑定数据.此方法不需要写任何代码操作比较简单,但是它显示出来的是整张表的数据.如果整一表数据比较多,而且我们并不需要所有的数据的情况下,我们就应该考虑第二种方法了.通过写代码连接数据库并从数据库中读取数据,最后将返回的数据传给DataGridView.这种方法貌似比较复杂,但是它只显

【代码笔记】向服务器传JSON数据的两种方式

一,代码. - (void)viewDidLoad { [super viewDidLoad]; // Do any additional setup after loading the view. //第一种方法,是把要传的参数组合成一个数组,然后由JSONKit把字典转为字符串 NSDictionary* jsonDic = [NSDictionary dictionaryWithObjectsAndKeys:@"李华",@"name",@"女&quo

SpringMVC中controller返回json数据的两种方法

SpringMVC中controller返回json数据的两种方法 1.jsp的ajax请求: function getJson(){ $.ajax({ type:"get", dataType:"json", url:"<%=basePath %>getJson", success:function(data){ for(var i=0;i<jsonData.length;i++){ alert("Id:"