hbase查询,scan详解

一、shell 查询

hbase 查询相当简单，提供了get和scan两种方式，也不存在多表联合查询的问题。复杂查询需通过hive创建相应外部表，用sql语句自动生成mapreduce进行。
但是这种简单，有时为了达到目的，也不是那么顺手。至少和sql查询方式相差较大。

hbase 提供了很多过滤器，可对行键，列，值进行过滤。过滤方式可以是子串，二进制，前缀，正则比较等。条件可以是AND,OR等组合。所以通过过滤，还是能满足需求，找到正确的结果的。

1.1 过滤器类型

HBase 最新官方文档中文版(http://abloz.com/hbase/book.html)中有对过滤器的描述。过滤器分为5种类型：

构造型过滤器：用于包含其他一组过滤器的过滤器。包括：FilterList

列值型过滤器：对每列的值进行过滤的. 相当于sql查询中的=和like 包括：

SingleColumnValueFilter

比较器，包括：
RegexStringComparator 支持值比较的正则表达式
SubstringComparator 用于检测一个子串是否存在于值中。大小写不敏感。 
BinaryPrefixComparator 二进制前缀比较
BinaryComparator 二进制比较

键值元数据过滤器：用于对列进行过滤的。包括：

FamilyFilter 用于过滤列族。 通常，在Scan中选择ColumnFamilie优于在过滤器中做。
QualifierFilter 用于基于列名(即 Qualifier)过滤.
ColumnPrefixFilter 可基于列名(即Qualifier)前缀过滤。
MultipleColumnPrefixFilter 和 ColumnPrefixFilter 行为差不多，但可以指定多个前缀。
ColumnRangeFilter 可以进行高效内部扫描。

Rowkey：对行键进行过滤。通常认为行选择时Scan采用 startRow/stopRow 方法比较好。然而 RowFilter 也可以用。
工具：如FirstKeyOnlyFilter用于统计行数。

二、示例

1.FirstKeyOnlyFilter,一种方便的计算行数的过滤器

hbase(main):002:0> scan ‘toplist_ware_ios_1009_201231‘,{COLUMNS=>‘info‘,FILTER=>"(FirstKeyOnlyFilter())"}
 0000000001                       column=info:loginid, timestamp=1343625459713, value=jjm168131013
 0000000002                       column=info:loginid, timestamp=1343625459713, value=loveswh
...
21 row(s) in 0.5480 seconds

2.列名子串进行过滤

hbase(main):006:0> scan ‘toplist_ware_ios_1009_201231‘,{COLUMNS=>[‘info:‘],FILTER=>"(QualifierFilter(=,‘substring:id‘))"}
ROW COLUMN+CELL
0000000001 column=info:loginid, timestamp=1343625459713, value=jjm168131013
0000000001 column=info:userid, timestamp=1343625459713, value=168131013
0000000002 column=info:loginid, timestamp=1343625459713, value=loveswh
0000000002 column=info:userid, timestamp=1343625459713, value=100898152

hbase(main):005:0> scan ‘toplist_ware_ios_1009_201231‘,{COLUMNS=>[‘info:loginid‘],FILTER=>"(QualifierFilter(=,‘substring:id‘))"}
ROW COLUMN+CELL
0000000001 column=info:loginid, timestamp=1343625459713, value=jjm168131013
0000000002 column=info:loginid, timestamp=1343625459713, value=loveswh

hbase(main):007:0> scan ‘toplist_ware_ios_1009_201231‘,{COLUMNS=>[‘info:‘],FILTER=>"(QualifierFilter(=,‘substring:nid‘))"}
ROW COLUMN+CELL
0000000001 column=info:loginid, timestamp=1343625459713, value=jjm168131013
0000000002 column=info:loginid, timestamp=1343625459713, value=loveswh

hbase(main):008:0> scan ‘toplist_ware_ios_1009_201231‘,{COLUMNS=>[‘info:‘],FILTER=>"(QualifierFilter(=,‘substring:nick‘))"}
ROW COLUMN+CELL
0000000001 column=info:nick, timestamp=1343625459713, value=\xE5\xAE\xB6\xE6\x9C\x89\xE8\x99\x8E\xE5\xAE\x9
D
0000000002 column=info:nick, timestamp=1343625459713, value=loveswh08

3.Value 过滤

3.1 正则过滤
hbase(main):004:0> scan ‘toplist_ware_ios_1009_201231‘,{COLUMNS=>‘info‘,FILTER=>"(SingleColumnValueFilter(‘info‘,‘nick‘,=,‘regexstring:.*99‘,true,true))"}
ROW                               COLUMN+CELL
 0000000009                       column=info:loginid, timestamp=1343625459713, value=zgh1968
 0000000009                       column=info:nick, timestamp=1343625459713, value=zwy99
 0000000009                       column=info:score, timestamp=1343625459713, value=5
 0000000009                       column=info:userid, timestamp=1343625459713, value=100366262
1 row(s) in 0.2520 seconds

3.2 子串
需导入
import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter
import org.apache.hadoop.hbase.filter.SubstringComparator
import org.apache.hadoop.hbase.util.Bytes

hbase(main):028:0> scan ‘toplist_ware_ios_1001_201231‘,{COLUMNS =>‘info:nick‘, FILTER=>SingleColumnValueFilter.new(Bytes.toBytes(‘info‘),Bytes.toBytes(‘nick‘),CompareFilter::CompareOp.valueOf(‘EQUAL‘),SubstringComparator.new(‘8888‘))}
ROW COLUMN+CELL
0000000002 column=info:nick, timestamp=1343625446556, value=\xE7\x81\x8F????\xE3\x81\x8A??8888
1 row(s) in 0.0330 seconds

3.3 二进制
子串等不支持多字节文字，所以用二进制来进行比较
hbase(main):010:0> scan ‘toplist_ware_ios_1009_201231‘,{COLUMNS=>[‘info:‘],FILTER=>"(QualifierFilter(=,‘substring:nick‘) AND ValueFilter(=,‘binary:7789\xE6\xB4\x81‘) )"}
ROW COLUMN+CELL
0000000016 column=info:nick, timestamp=1343625459713, value=7789\xE6\xB4\x81
1 row(s) in 0.1710 seconds

4 综合列名子串和值二进制比较

hbase(main):012:0> scan ‘toplist_ware_ios_1009_201231‘,{COLUMNS=>[‘info:‘],FILTER=>"(QualifierFilter(=,‘substring:nick‘) AND ValueFilter(=,‘binary:7789\xE6\xB4\x81‘) )"}
ROW COLUMN+CELL
0000000016 column=info:nick, timestamp=1343625459713, value=7789\xE6\xB4\x81
1 row(s) in 0.0120 seconds

hbase(main):014:0> scan ‘toplist_ware_ios_1009_201231‘,{COLUMNS=>"info:",FILTER=>"(PrefixFilter(‘000000002‘)) AND (QualifierFilter(=,‘substring:nick‘)"}
ROW COLUMN+CELL
 0000000020 column=info:nick, timestamp=1343625459713, value=Denny_feng
 0000000021 column=info:nick, timestamp=1343625459713, value=\xE5\xB0\x8F\xE7\xBD\x97\xE6\x95\x99\xE7\xBB\x8
 31
2 row(s) in 0.0440 seconds

5. 行查询

hbase(main):005:0> get ‘toplist_ware_ios_1009_201231‘,‘0000000009‘
COLUMN CELL
 info:loginid timestamp=1343625459713, value=zgh1968
 info:nick timestamp=1343625459713, value=zwy99
 info:score timestamp=1343625459713, value=5
 info:userid timestamp=1343625459713, value=100366262
4 row(s) in 0.1000 seconds

hbase(main):006:0> get ‘toplist_ware_ios_1009_201231‘,‘0000000009‘,‘info:nick‘
COLUMN CELL
 info:nick timestamp=1343625459713, value=zwy99
1 row(s) in 0.0100 seconds

hbase(main):009:0> scan ‘toplist_ware_ios_1009_201231‘,FILTER=>"PrefixFilter(‘000000002‘)"
ROW COLUMN+CELL
 0000000020 column=info:loginid, timestamp=1343625459713, value=jjm169212318
 0000000020 column=info:nick, timestamp=1343625459713, value=Denny_feng
 0000000020 column=info:score, timestamp=1343625459713, value=1
 0000000020 column=info:userid, timestamp=1343625459713, value=169212318
 0000000021 column=info:loginid, timestamp=1343625459713, value=jjm169371841
 0000000021 column=info:nick, timestamp=1343625459713, value=\xE5\xB0\x8F\xE7\xBD\x97\xE6\x95\x99\xE7\xBB\x8
 31
 0000000021 column=info:score, timestamp=1343625459713, value=1
 0000000021 column=info:userid, timestamp=1343625459713, value=169371841
2 row(s) in 0.0180 seconds

hbase(main):010:0> scan ‘toplist_ware_ios_1009_201231‘,FILTER=>"PrefixFilter(‘000000002‘)",LIMIT=>1
ROW COLUMN+CELL
 0000000020 column=info:loginid, timestamp=1343625459713, value=jjm169212318
 0000000020 column=info:nick, timestamp=1343625459713, value=Denny_feng
 0000000020 column=info:score, timestamp=1343625459713, value=1
 0000000020 column=info:userid, timestamp=1343625459713, value=169212318
1 row(s) in 0.0170 seconds

hbase(main):011:0> scan ‘toplist_ware_ios_1009_201231‘,{COLUMNS=>"info:nick",FILTER=>"PrefixFilter(‘000000002‘)",LIMIT=>1}
ROW COLUMN+CELL
 0000000020 column=info:nick, timestamp=1343625459713, value=Denny_feng
1 row(s) in 0.0160 seconds

时间： 2024-08-22 09:21:10

hbase查询,scan详解的相关文章

【甘道夫】HBase基本数据操作详解【完整版，绝对精品】

引言之前详细写了一篇HBase过滤器的文章,今天把基础的表和数据相关操作补上. 本文档参考最新(截止2014年7月16日)的官方Ref Guide.Developer API编写. 所有代码均基于"hbase 0.96.2-hadoop2"版本编写,均实测通过. 欢迎转载,请注明来源: http://blog.csdn.net/u010967382/article/details/37878701 概述对于建表,和RDBMS类似,HBase也有namespace的概念,可以指定表空

hibernate(七) hibernate中查询方式详解

序言之前对hibernate中的查询总是搞混淆,不明白里面具体有哪些东西.就是因为缺少总结.在看这篇文章之前,你应该知道的是数据库的一些查询操作,多表查询等,如果不明白,可以先去看一下 MySQL数据表查询操作详解 ,以至于看这篇文章不用那么吃力. --WH 一.hibernate中的5种检索方式 1.1.导航对象图检索方式根据已经加载的对象导航到其他对象例如:在前面的各种映射关系中,实体类包含对其他类对象的引用. Dept d = (Dept) session.get(Dept.cla

MongoDB各种查询操作详解

这篇文章主要介绍了MongoDB各种查询操作详解,包括比较查询.关联查询.数组查询等,需要的朋友可以参考下一.find操作 MongoDB中使用find来进行查询,通过指定find的第一个参数可以实现全部和部分查询. 1.查询全部空的查询文档{}会匹配集合的全部内容.如果不指定查询文档,默认就是{}. 2.部分查询 3.键的筛选键的筛选是查询时只返回自己感兴趣的键值,通过指定find的第二个参数来实现.这样可以节省传输的数据量,又能节省客户端解码文档的时间和内存消耗. 查询时,数据库所关心

【Solr】索引库查询界面详解

目录索引库查询界面详解回到顶部索引库查询界面详解 q:主查询条件.完全支持lucene语法.还进行了扩展. fq:过滤查询.是在主查询条件查询结果的基础上进行过滤.例如:product_price:[10 TO 20] sort:排序条件.排序的域asc.如果有多个排序条件使用半角逗号分隔. start, rows:分页处理.Start起始记录rows每页显示的记录条数. fl:返回结果中域的列表.使用半角逗号分隔. df:默认搜索域. wt:响应结果的数据格式,可以是json.xml等.

065：ORM查询条件详解-gt、gte、lt和lte

ORM查询条件详解-gt.gte.lt和lte: 1.gt:某个 field 的值要大于给定的值.示例代码如下: articles = Article.objects.filter(id__gt=3) 以上代码的意思是将所有 id 大于4的文章全部都找出来.将翻译成以下 SQL 语句: SELECT `article`.`id`, `article`.`title`, `article`.`content`, `article`.`category_id` FROM `article` WHER

Farseer.net轻量级开源框架入门篇：查询数据详解

导航目录:Farseer.net轻量级开源框架目录上一篇:Farseer.net轻量级开源框架入门篇: 删除数据详解查询列表的几种方式 1 // 字段值指定加 1 2 Users.Data.Where(o => o.ID == 1).ToList(); 1 // 查询前10条数据 2 Users.Data.ToList(10); 1 // 批量查询 2 var lst = new List<int> { 1, 2, 3, 4, 5 }; 3 Users.Data.ToL

MySQL 查询习题详解

用sql sever 不显示列名需要加dbo 1.首先进行建表: #建学生信息表studentcreate table student ( sno varchar(20) not null primary key, sname varchar(20) not null, ssex varchar(20) not null, sbirthday datetime, class varchar(20) ); #建立教师表create table teacher ( tno varchar(20)

hbase性能优化详解

查询缓存 Scan的caching属性默认值是1,意味着扫描器每次从region服务器抓取1条记录进行匹配.我们可以设置caching为比1大得多的值.例如,设置为500,则一次可以抓取500条,需要注意的是该值设得越大服务器的内存开销会越多. HTableInterface hTable=getHTable(tableName); Scan scan=new Scan(); /*设置缓存*/ scan.setCaching(StaticConfig.getIControl_hbase_cach

hbase寻址机制详解

2019/2/20 星期三 //参考链接为 : https://www.cnblogs.com/qingyunzong/p/8692430.html 系统如何找到某个row key(或者某个row key range(范围))所在的region big table 使用三层类似B+树的结构来保存region 位置第一层是保存zookeeper 里面的文件,它持有root region 的位置.第二层root region 是.META.表的第一个region 其中保存了.META.z表其它r