HBase Shell操作

Hbase 是一个分布式的、面向列的开源数据库,其实现是建立在google 的bigTable 理论之上,并基于hadoop HDFS文件系统。     Hbase不同于一般的关系型数据库(RDBMS)。是一种适用于非结构化数据存储的数据库,且Hbase是基于列的数据库。

下面的内容基于我们已经安装好hadoop、hbase。

  • 一、hbase shell 介绍

hbase shell是用户和hbase 交互的接口之一,当然还可以通过其它方式比如java api等

下表列出了 hbase 基本命令操作:

操作 命令表达式 注意
创建表 create ‘table_name, ‘family1‘,‘family2‘,‘familyN‘  
添加记录       put ‘table_name‘, ‘rowkey‘, ‘family:column‘, ‘value‘  
查看记录 get ‘table_name‘, ‘rowkey‘    查询单条记录,也是hbase 最常用的命令
查看表中的记录总数 count  ‘table_name‘ 这个命令并不快,且目前没有找到更快的方式统计行数
删除记录 delete ‘table_name‘ ,‘rowkey‘,‘family_name:column‘
deleteall ‘table_name‘,‘rowkey‘
第一种方式删除一条记录单列的数据
第二种方式删除整条记录
 
删除一张表 1、disable ‘table_name‘   
2、drop ‘table_name‘
查看所有记录 scan "table_name" ,{LIMIT=>10} LIMIT=>10 只返回10条记录,否则将全部展示

利用上面基础命令可以完成基本的hbase 操作,下面几个shell 命令在后续的hbase 操作中可以起到很到的作用,且主要体现在建表的过程中,看下面几个create 属性

1、BLOOMFILTER  默认是NONE 是否使用布隆过虑 使用何种方式

布隆过滤可以每列族单独启用。使用 HColumnDescriptor.setBloomFilterType(NONE | ROW | ROWCOL) 对列族单独启用布隆。 Default = NONE 没有布隆过滤。对 ROW,行键的哈希在每次插入行时将被添加到布隆。对 ROWCOL,行键 + 列族 + 列族修饰的哈希将在每次插入行时添加到布隆

使用方法: create ‘table‘,{BLOOMFILTER =>‘ROW‘}

启用布隆过滤可以节省必须读磁盘过程,可以有助于改进读取延迟

2、VERSIONS 默认是3 这个参数的意思是数据保留三个 版本,如果我们认为我们的数据没有这么大的必要保留这么多,随时都在更新,而老版本的数据对我们毫无价值,那将此参数设为1 能节约2/3的空间

使用方法: create ‘table‘,{VERSIONS=>‘2‘}

3、COMPRESSION 默认值是NONE 即不使用压缩

这个参数意思是该列族是否采用压缩,采用什么压缩算法

使用方法: create ‘table‘,{NAME=>‘info‘,COMPRESSION=>‘SNAPPY‘}

我建议采用SNAPPY压缩算法,个压缩算法的比较网上比较多,我从网上摘抄一个表格作为参考,具体的snappy 的安装后续会以单独章节进行描述。

这个表是Google几年前发布的一组测试数据,实际测试Snappy 和下表所列相差无几。

HBase中,在Snappy发布之前(Google 2011年对外发布Snappy),采用的LZO算法,目标是达到尽可能快的压缩和解压速度,同时减少对CPU的消耗;

在Snappy发布之后,建议采用Snappy算法(参考《HBase: The Definitive Guide》),具体可以根据实际情况对LZO和Snappy做过更详细的对比测试后再做选择。

Algorithm % remaining Encoding Decoding
GZIP 13.4% 21 MB/s 118 MB/s
LZO 20.5% 135 MB/s 410 MB/s
Zippy/Snappy 22.2% 172 MB/s 409 MB/s

如果建表之初没有 压缩,后来想要加入压缩算法,怎么办 hbase 有另外的一个命令alter

4、alter

使用方法:

如 修改压缩算法

1  disable ‘table‘
2  alter ‘table‘,{NAME=>‘info‘,COMPRESSION=>‘snappy‘}
3  enable ‘table‘

删除列族

     disable ‘table‘
     alter ‘table‘,{NAME=>‘info‘,METHOD=>‘delete‘}
     enable ‘table‘

但是这样修改之后发现表数据还是那么大,并没有发生多大变化。怎么办

major_compact ‘table‘ 命令之后 才会做实际的操作。

5、TTL 默认是 2147483647 即:Integer.MAX_VALUE 值 大概是68年吧

这个参数是说明该列族数据的 存活时间 也就是数据的生命周期 单位是s 默写文章写的单位是ms 是错误的。

这个参数可以根据 具体的需求 对数据设定 存活时间,超过存过时间的数据将在表中不在显示,待下次major compact的时候再彻底删除数据

为什么在下次major compact的时候删除数据,后面会具体介绍到。

注意的是TTL设定之后 MIN_VERSIONS=>‘0‘ 这样设置之后,TTL时间戳过期后,将全部彻底删除该family 下所有的数据,如果MIN_VERSIONS 不等于0 那将保留最新

的MIN_VERSIONS个版本的数据,其它的全部删除,比如MIN_VERSIONS=>‘1‘ 届时将保留一个最新版本的数据,其它版本的数据将不再保存。

6、describe ‘table‘ 这个命令查看了create table 的各项参数 或者是默认值。

7、disable_all ‘toplist.*‘ disable_all 支持正则表达式,并列出当前匹配的表的如下:

 toplist_a_total_1001

toplist_a_total_1002                                                                                                                                                
      toplist_a_total_1008                                                                                                                                                
      toplist_a_total_1009                                                                                                                                                
      toplist_a_total_1019                                                                                                                                  
      toplist_a_total_1035

...

Disable the above 25 tables (y/n)? 并给出确认提示

8、drop_all 这个命令和disable_all的使用方式是一样的

9、hbase 表预分区 也就是手动分区

默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions,这样当数据写入HBase时,会按照region分区情况,在集群内做数据的负载均衡。

使用方法:create ‘t1‘, ‘f1‘, {NUMREGIONS => 15, SPLITALGO => ‘HexStringSplit‘}

也可以使用 api的方式

hbase org.apache.hadoop.hbase.util.RegionSplitter test_table HexStringSplit -c 10 -f info

参数很容易看懂 test_table  是表名 HexStringSplit 是split 方式 -c 是分10个region -f 是family

这样就可以将表预先分为10个区,减少数据达到storefile 大小的时候自动分区的时间消耗,并且还有以一个优势,就是合理设计rowkey 能让各个region 的并发请求 平均分配(趋于均匀) 使IO 效率达到最高,但是预分区需要将filesize 设置一个较大的值,设置哪个参数呢 hbase.hregion.max.filesize 这个值默认是10G 也就是说单个region 默认大小是10G

这个值发生从0.90 到0.92到0.94.3 从 256M--1G--10G 这个根据自己的需求将这个值修改。

但是如果MapReduce Input类型为TableInputFormat 使用hbase作为输入的时候,就要注意了,每个region一个map,如果数据小于10G 那只会启用一个map 造成很大的资源浪费,这时候可以考虑适当调小 该参数的值,或者采用预分配region 的方式,并将hbase.hregion.max.filesize 设为一个相对比较大的值,不容易达到的值比如1000G,检测如果达到这个值,再手动分配region。

转自:http://blog.csdn.net/zhouleilei/article/details/12654329

时间: 2024-10-13 11:42:40

HBase Shell操作的相关文章

hbase shell操作语句

2019/2/19 星期二 hbase shell操作语句基本shell 命令 进入hbase 命令行./hbase shell显示hbase 中的表list创建user 表,包含info.data 两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'}向user 表中插入信息,row key 为rk0001,列族info 中添加name 列标示符,值为zhangsanput 'us

HBase ——Shell操作

HBase ——Shell操作 Q:你觉得HBase是什么? A:一种结构化的分布式数据存储系统,它基于列来存储数据. 基于HBase,可以实现以廉价PC机器集群存储海量数据的分布式数据库的解决方案. 一般用于数据量巨大但查询简单的场景,典型场景包括:账单记录,订单流水,交易记录,数据库的历史记录 建立表 HBase中没有数据库的概念,但是存在命名空间的概念,在使用上类似库名,但实际上只是一个目录名. 另外要记住,HBase中大部分数据都是以HashMap的形式组织的,因此很多时候都能看到类似

Hbase shell操作(完整版记录)

1.进入Hbase命令行 >hbase shell 退出命令行 >quit 2.创建表 >create 'users','user_id','address','info' 3.查看所有表 >list 4.查看表结构 >describe 'users' 5.删除表: >disable 'users' >drop 'users' 6.新增数据 >put 'users','xiaowang','info:age','26' >put 'users','xi

Hbase shell操作总结

进入hbase命令行 ./hbase shell 显示hbase中的表 list 创建user表,包含info.data两个列族 create 'users', 'info', 'data' //you can also use this command: // create 'users', {NAME => 'info', VERSIONS => '3'} 向表中插入信息,row key为rk0001,列族info中添加name列标示符,值为zhangsan put 'users', 'r

Hbase shell操作总结(1)

转:http://www.cnblogs.com/nexiyi/p/hbase_shell.html 进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户 hbase(main)> whoami 表的管理1)查看有哪些表 hbase(main)> list 2)创建表 # 语法

Hbase框架原理及相关的知识点理解、Hbase访问MapReduce、Hbase访问Java API、Hbase shell及Hbase性能优化总结

转自:http://blog.csdn.net/zhongwen7710/article/details/39577431 本blog的内容包含: 第一部分:Hbase框架原理理解 第二部分:Hbase调用MapReduce函数使用理解 第三部分:Hbase调用Java API使用理解 第四部分:Hbase Shell操作 第五部分:Hbase建表.读写操作方式性能优化总结 第一部分:Hbase框架原理理解 概述 HBase是一个构建在HDFS上的分布式列存储系统:HBase是基于Google

HBase的SHELL操作和API

1.表结构: 2.SHELL操作 命令:hbase shell 显示表:list 创建表:create 'tb_name','column_family_1','column_family_2',...; 或者 create 'user', {NAME => 'column_family_1', VERSIONS => '3'} 插入数据:put 'tb_name','rk_on','column_family : key','value' 获取数据: 获取所有数据:get 'tb_name'

Hbase快速开始——shell操作

一. 介绍 HBase是一个分布式的.面向列的开源数据库,源于google的一篇论文<bigtable:一个结构化数据的分布式存储系统>.HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务.  HBase以表的形式存储数据.表有行和列组成.列划分为若干个列族/列簇(column family).       如上图所示,key1, key2,

hbase之python利用thrift操作hbase数据和shell操作

前沿: 以前都是用mongodb的,但是量大了,mongodb显得不那么靠谱,改成hbase撑起一个量级. HBase是Apache Hadoop的数据库,能够对大型数据提供随机.实时的读写访问.HBase的目标是存储并处理大型的数据.HBase是一个开源的,分布式的,多版本的,面向列的存储模型.它存储的是松散型数据. HBase提供了丰富的访问接口. HBase Shell Java clietn API Jython.Groovy DSL.Scala REST Thrift(Ruby.Pyt