使用Phoenix通过sql语句更新操作hbase数据

hbase 提供很方便的shell脚本，可以对数据表进行 CURD 操作，但是毕竟是有一定的学习成本的，基本上对于开发来讲，sql 语句都是看家本领，那么，有没有一种方法可以把 sql 语句转换成 hbase的原生API呢？ 这样就可以通过普通平常的 sql 来对hbase 进行数据的管理，使用成本大大降低。Apache Phoenix 组件就完成了这种需求，官方注解为 “Phoenix - we put the SQL back in NoSql”，通过官方说明，Phoenix 的性能很高，相对于 hbase 原生的scan 并不会差多少，而对于类似的组件 hive、Impala等，性能有着显著的提升，详细请阅读https://phoenix.apache.org/performance.html。

Apache Phoenix 官方站点：https://phoenix.apache.org/
Phoenix支持的sql语句： https://phoenix.apache.org/language/index.html
Phoenix 支持的DataTypes：https://phoenix.apache.org/language/datatypes.html
Phoenix 支持的函数：https://phoenix.apache.org/language/functions.html

一、安装使用

Phoenix 安装很简单，下载对应hbase版本的Phoenix，下载地址，以phoenix-4.4.0-HBase-0.98-bin.tar.gz为例，解压文件，将phoenix-4.4.0-server.jar 拷贝到hbase安装目录的lib下，注意：每台regionserver均需要拷贝，重启hbase server即可，官方如下：

  • download and expand the latest phoenix-[version]-bin.tar.
  • Add the phoenix-[version]-server.jar to the classpath of all HBase region server and master and remove any previous version. An easy way to do this is to copy it into the HBase lib directory (use phoenix-core-[version].jar for Phoenix 3.x)
  • restart the region servers
  • Add the phoenix-[version]-client.jar to the classpath of any Phoenix client.
  • download and setup SQuirrel as your SQL client so you can issue adhoc SQL against your HBase cluster

详情查看：Phoenix-in-15-minutes 。

二、shell 命令

通过案例，create 表，插入语句，更新语句，删除语句案例，详细可参考：https://phoenix.apache.org/faq.html

Phoenix 连接hbase的命令如下，sqlline.py [zookeeper] ：

1234567891011121314151617181920212223242526272829
 
[[email protected] lib]$ ./sqlline.py 10.35.66.72Setting property: [isolation, TRANSACTION_READ_COMMITTED]issuing: !connect jdbc:phoenix:10.35.66.72 none none org.apache.phoenix.jdbc.PhoenixDriverConnecting to jdbc:phoenix:10.35.66.7215/06/24 13:06:29 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableConnected to: Phoenix (version 4.2)Driver: PhoenixEmbeddedDriver (version 4.2)Autocommit status: trueTransaction isolation: TRANSACTION_READ_COMMITTEDBuilding list of tables and columns for tab-completion (set fastconnect to true to skip)...193/193 (100%) DoneDonesqlline version 1.1.20: jdbc:phoenix:10.35.66.72>!tables+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+|                TABLE_CAT                 |               TABLE_SCHEM                |                TABLE_NAME                |                TA |+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+| null                                     | WL                                       | BIG_LOG_DEVUTRACEID_INDEX                | INDEX             || null                                     | WL                                       | MSGCENTER_PUSHMESSAGE_V2_OWNERPAGE_INDEX | INDEX             || null                                     | SYSTEM                                   | CATALOG                                  | SYSTEM TABLE      || null                                     | SYSTEM                                   | SEQUENCE                                 | SYSTEM TABLE      || null                                     | SYSTEM                                   | STATS                                    | SYSTEM TABLE      || null                                     | DMO                                      | SOWNTOWN_STATICS                         | TABLE             || null                                     | OL                                       | BIGLOG                                   | TABLE             || null                                     | WL                                       | BIG_LOG                                  | TABLE             || null                                     | WL                                       | ERROR_LOG                                | TABLE             || null                                     | WL                                       | MSGCENTER_PUSHMESSAGE                    | TABLE             || null                                     | WL                                       | MSGCENTER_PUSHMESSAGE_V2                 | TABLE             |+------------------------------------------+------------------------------------------+------------------------------------------+------------------

从上面能够看到，已经连接到了hbase集群上面，Phoenix version 4.2 ，sqlline version 4.2 ，输入Phoenix支持的命令！tables可以查看当前集群中存在的数据表，能够看到有些是SYSTEM TABLE，其它的都是自己建立的；

下面通过脚本来模拟下使用Phoenix建立数据表、修改表、添加数据、修改数据、删除数据、删除表等操作：

1、新建一张Person表，含有IDCardNum，Name，Age 三个字段 ，test 为table_schem ，标准sql如下：

1
 
create table IF NOT EXISTS test.Person (IDCardNum INTEGER not null primary key, Name varchar(20),Age INTEGER);

在 Phoenix 中使用如下：

123456789101112131415161718192021222324
 
0: jdbc:phoenix:10.35.66.72> create table IF NOT EXISTS test.Person (IDCardNum INTEGER not null primary key, Name varchar(20),Age INTEGER);No rows affected (0.344 seconds)0: jdbc:phoenix:10.35.66.72> !tables+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+|                TABLE_CAT                 |               TABLE_SCHEM                |                TABLE_NAME                |                TA |+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+| null                                     | WL                                       | BIG_LOG_DEVUTRACEID_INDEX                | INDEX             || null                                     | WL                                       | MSGCENTER_PUSHMESSAGE_V2_OWNERPAGE_INDEX | INDEX             || null                                     | SYSTEM                                   | CATALOG                                  | SYSTEM TABLE      || null                                     | SYSTEM                                   | SEQUENCE                                 | SYSTEM TABLE      || null                                     | SYSTEM                                   | STATS                                    | SYSTEM TABLE      || null                                     | DMO                                      | SOWNTOWN_STATICS                         | TABLE             || null                                     | OL                                       | BIGLOG                                   | TABLE             || null                                     | TEST                                     | PERSON                                  | TABLE             || null                                     | WL                                       | BIG_LOG                                  | TABLE             || null                                     | WL                                       | ERROR_LOG                                | TABLE             || null                                     | WL                                       | MSGCENTER_PUSHMESSAGE                    | TABLE             || null                                     | WL                                       | MSGCENTER_PUSHMESSAGE_V2                 | TABLE             |+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+0: jdbc:phoenix:10.35.66.72> select * from TEST.PERSON;+------------------------------------------+----------------------+------------------------------------------+|                IDCARDNUM                 |         NAME         |                   AGE                    |+------------------------------------------+----------------------+------------------------------------------++------------------------------------------+----------------------+------------------------------------------+

可以看到，hbase中已经存在数据表 Person了，包含了三列。

2、对表进行插入操作，sql如下：

123
 
insert into Person (IDCardNum,Name,Age) values (100,‘小明‘,12);insert into Person (IDCardNum,Name,Age) values (101,‘小红‘,15);insert into Person (IDCardNum,Name,Age) values (103,‘小王‘,22);

在 Phoenix 中插入的语句为 upsert ，具体如下：

123456789101112131415
 
0: jdbc:phoenix:10.35.66.72> upsert into test.Person (IDCardNum,Name,Age) values (100,‘小明‘,12);1 row affected (0.043 seconds)0: jdbc:phoenix:10.35.66.72> upsert into test.Person (IDCardNum,Name,Age) values (101,‘小红‘,15);1 row affected (0.018 seconds)0: jdbc:phoenix:10.35.66.72> upsert into test.Person (IDCardNum,Name,Age) values (103,‘小王‘,22);1 row affected (0.009 seconds)0: jdbc:phoenix:10.35.66.72> select * from test.Person;+------------------------------------------+----------------------+------------------------------------------+|                IDCARDNUM                 |         NAME         |                   AGE                    |+------------------------------------------+----------------------+------------------------------------------+| 100                                      | 小明                   | 12                                       || 101                                      | 小红                   | 15                                       || 103                                      | 小王                   | 22                                       |+------------------------------------------+----------------------+------------------------------------------+3 rows selected (0.115 seconds)

从上面可以看到，三条数据已经进入hbase里面了；好了，现在要对表添加一列 sex 性别操作，怎么办？

3、alter 修改表数据，sql如下：

1
 
ALTER TABLE test.Persion ADD sex varchar(10);

Phoenix 中操作如下：

1234567891011
 
0: jdbc:phoenix:10.35.66.72> ALTER TABLE test.Person ADD sex varchar(10);No rows affected (0.191 seconds): jdbc:phoenix:10.35.66.72> select * from test.person;+------------------------------------------+----------------------+------------------------------------------+------------+|                IDCARDNUM                 |         NAME         |                   AGE                    |    SEX     |+------------------------------------------+----------------------+------------------------------------------+------------+| 100                                      | 小明                   | 12                                       | null       || 101                                      | 小红                   | 15                                       | null       || 103                                      | 小王                   | 22                                       | null       |+------------------------------------------+----------------------+------------------------------------------+------------+3 rows selected (0.113 seconds)

上图看到已经新增了列sex，每行的默认值为 null ，那么怎么样修改这些值呢？

4、 更新表数据 ，标准的sql 如下：

123
 
update test.Person set sex=‘男‘ where IDCardNum=100;update test.Person set sex=‘女‘ where IDCardNum=101;update test.Person set sex=‘男‘ where IDCardNum=103;

Phoenix中不存在update的语法关键字，而是upsert ，功能上替代了Insert+update，官方说明为：

UPSERT VALUES
Inserts if not present and updates otherwise the value in the table. The list of columns is optional and if not present, the values will map to the column in the order they are declared in the schema. The values must evaluate to constants.

根据介绍，只需要在upsert语句中制定存在的idcardnum即可实现更新，在 Phoenix 客户端中操作如下：

123456789101112131415
 
0: jdbc:phoenix:10.35.66.72> upsert into test.person (idcardnum,sex) values (100,‘男‘);1 row affected (0.083 seconds)0: jdbc:phoenix:10.35.66.72> upsert into test.person (idcardnum,sex) values (101,‘女‘);1 row affected (0.012 seconds)0: jdbc:phoenix:10.35.66.72> upsert into test.person (idcardnum,sex) values (103,‘男‘);1 row affected (0.008 seconds)0: jdbc:phoenix:10.35.66.72> select * from test.person;+------------------------------------------+----------------------+------------------------------------------+------------+|                IDCARDNUM                 |         NAME         |                   AGE                    |    SEX     |+------------------------------------------+----------------------+------------------------------------------+------------+| 100                                      | 小明                   | 12                                       | 男          || 101                                      | 小红                   | 15                                       | 女          || 103                                      | 小王                   | 22                                       | 男          |+------------------------------------------+----------------------+------------------------------------------+------------+3 rows selected (0.087 seconds)

5、复杂查询，通过Phoenix可以支持 where、group by、case when 等复杂的查询条件，案例如下：

12345678910111213141516171819
 
# 现增加几条数据0: jdbc:phoenix:10.35.66.72> upsert into test.Person (IDCardNum,Name,Age,sex) values (104,‘小张‘,23,‘男‘);1 row affected (0.012 seconds)0: jdbc:phoenix:10.35.66.72> upsert into test.Person (IDCardNum,Name,Age,sex) values (105,‘小李‘,28,‘男‘);1 row affected (0.015 seconds)0: jdbc:phoenix:10.35.66.72> upsert into test.Person (IDCardNum,Name,Age,sex) values (106,‘小李‘,33,‘男‘);1 row affected (0.011 seconds)0: jdbc:phoenix:10.35.66.72> select * from test.person;+------------------------------------------+----------------------+------------------------------------------+------------+|                IDCARDNUM                 |         NAME         |                   AGE                    |    SEX     |+------------------------------------------+----------------------+------------------------------------------+------------+| 100                                      | 小明                   | 12                                       | 男          || 101                                      | 小红                   | 15                                       | 女          || 103                                      | 小王                   | 22                                       | 男          || 104                                      | 小张                   | 23                                       | 男          || 105                                      | 小李                   | 28                                       | 男          || 106                                      | 小李                   | 33                                       | 男          |+------------------------------------------+----------------------+------------------------------------------+------------+6 rows selected (0.09 seconds)

where + group by 语句例子：

123456
 
jdbc:phoenix:10.35.66.72> select sex ,count(sex) as num from test.person where age >20 group by sex;+------------+------------------------------------------+|    SEX     |                   NUM                    |+------------+------------------------------------------+| 男          | 4                                        |+------------+------------------------------------------+

case when 的例子：

1234567891011
 
0: jdbc:phoenix:10.35.66.72> select (case name when ‘小明‘ then ‘明明啊‘ when ‘小红‘ then ‘红红啊‘ else name end) as showname from test.person;+------------------------------------------+|                 SHOWNAME                 |+------------------------------------------+| 明明啊                                      || 红红啊                                      || 小王                                       || 小张                                       || 小李                                       || 小李                                       |+------------------------------------------+

更多支持语法参考：https://phoenix.apache.org/language/index.html

6、删除数据及删除表，标准sql如下：

12
 
delete from test.Person where idcardnum=100;drop table test.person;

Phoenix中同标准sql一样，案例如下：

12345678910111213141516171819202122232425262728
 
0: jdbc:phoenix:10.35.66.72> delete from test.Person where idcardnum=100;1 row affected (0.072 seconds)0: jdbc:phoenix:10.35.66.72> select * from test.Person where idcardnum=100;+------------------------------------------+----------------------+------------------------------------------+------------+|                IDCARDNUM                 |         NAME         |                   AGE                    |    SEX     |+------------------------------------------+----------------------+------------------------------------------+------------++------------------------------------------+----------------------+------------------------------------------+------------+

0: jdbc:phoenix:10.35.66.72> drop table test.person;No rows affected (1.799 seconds)0: jdbc:phoenix:10.35.66.72> select * from test.person;Error: ERROR 1012 (42M03): Table undefined. tableName=TEST.PERSON (state=42M03,code=1012)0: jdbc:phoenix:10.35.66.72> !tables+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+|                TABLE_CAT                 |               TABLE_SCHEM                |                TABLE_NAME                |                TA |+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+| null                                     | WL                                       | BIG_LOG_DEVUTRACEID_INDEX                | INDEX             || null                                     | WL                                       | MSGCENTER_PUSHMESSAGE_V2_OWNERPAGE_INDEX | INDEX             || null                                     | SYSTEM                                   | CATALOG                                  | SYSTEM TABLE      || null                                     | SYSTEM                                   | SEQUENCE                                 | SYSTEM TABLE      || null                                     | SYSTEM                                   | STATS                                    | SYSTEM TABLE      || null                                     | DMO                                      | SOWNTOWN_STATICS                         | TABLE             || null                                     | OL                                       | BIGLOG                                   | TABLE             || null                                     | WL                                       | BIG_LOG                                  | TABLE             || null                                     | WL                                       | ERROR_LOG                                | TABLE             || null                                     | WL                                       | MSGCENTER_PUSHMESSAGE                    | TABLE             || null                                     | WL                                       | MSGCENTER_PUSHMESSAGE_V2                 | TABLE             |+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+

三、图形化客户端SQuirrel使用

如果你不喜欢 终端下的脚本命令，青睐于GUI化的客户端，那么 SQuirrel是个好的选择，就跟平日里使用 MsSqlServer client、Navicat client 一样，效果如下图：

使用方法：（可以参照官网英文说明）

  1. 下载SQuirrel 客户端 ，地址 http://squirrel-sql.sourceforge.net/
  2. 解压缩，删除 lib/ 下老版本的 phoenix-[oldversion]-client.jar文件，将你刚刚下载的Phoenix文件夹下最新的文件 拷贝过去；
  3. 启动SQuirrel客户端，选择 Drivers-new driver ，名称随便，url格式： jdbc:phoenix:（zk地址） ，class name textbox 填写org.apache.phoenix.jdbc.PhoenixDriver
  4. ok， 点击 connect即可完成连接

squirrel 客户端的用法 和 Phoenix 自带终端一样，都是常见的sql语句，大家可以自己搭建练习。

四、 java client api 使用

java api 完全可以采用传统的 jdbc 连接的形式，案例如官方提供：

创建test.java 类，内容如下：

123456789101112131415161718192021222324252627282930
 
import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.PreparedStatement;import java.sql.Statement;

public class test {

	public static void main(String[] args) throws SQLException {		Statement stmt = null;		ResultSet rset = null;

		Connection con = DriverManager.getConnection("jdbc:phoenix:[zookeeper]");		stmt = con.createStatement();

		stmt.executeUpdate("create table test (mykey integer not null primary key, mycolumn varchar)");		stmt.executeUpdate("upsert into test values (1,‘Hello‘)");		stmt.executeUpdate("upsert into test values (2,‘World!‘)");		con.commit();

		PreparedStatement statement = con.prepareStatement("select * from test");		rset = statement.executeQuery();		while (rset.next()) {			System.out.println(rset.getString("mycolumn"));		}		statement.close();		con.close();	}}

在终端使用javac编译，通过Phoenix客户端执行，就能看到结果：

12345
 
$ javac test.java$ java -cp "../phoenix-[version]-client.jar:." test

# You should get the following outputHello World!

当然，在生产使用中，往往采用的是 spring mvc + mybaits 的框架来进行访问的，Phoenix 完全支持这种形式，就像平常写mysql、SqlServer一样，对应的jdbc.properties中的驱动修改为org.apache.phoenix.jdbc.PhoenixDriver 即可，其它的写法通普通的一样。

原文 http://www.ixirong.com/2015/06/24/how-hbase-use-apache-phoenix/

时间： 2024-08-25 23:22:19

使用Phoenix通过sql语句更新操作hbase数据的相关文章

使用Phoenix将SQL代码移植至HBase

1.前言 HBase是云计算环境下最重要的NOSQL数据库,提供了基于Hadoop的数据存储.索引.查询,其最大的优点就是可以通过硬件的扩展从而几乎无限的扩展其存储和检索能力.但是HBase与传统的基于SQL语言的关系数据库无论从理念还是使用方式上都相去甚远,以至于要将基于SQL的项目移植到HBase时往往需要重写整个项目. 为了解决这个问题,很多开源项目提供了HBase的类SQL中间件,意即提供一种在HBase上使用的类SQL语言,使得程序员能够像使用关系数据库一样使用HBase,Apache

MySQL与SQL语句的操作

MySQL与SQL语句的操作 Mysql比较轻量化,企业用的是Oracle,基本的是熟悉对数据库,数据表,字段,记录的更新与修改 1. mysql基本信息 特殊数据库:information_schema,performance_schema 特殊的数据表:包含着数据库的信息与设置 2. MySQL基本操作 连接:mysql -u username -h [ip] -p [password] 增加用户: 新增mysql用户:如果你需要添加 MySQL 用户,你只需要在 mysql 数据库中的 u

巧用C# Split()函数获取SQL语句中操作字段

这是前天工作时要求的,将SQL语句的操作字段获取出来挂在树节点上,感觉这个函数以后还有可能会用到,特此总结一下,函数中没有实现Select *的操作,只要添加判断条件即可. 工具函数:Split()函数:通过字符分割字符串为一个string类型的一维数组. String.Split 方法有6个重载函数: 1) public string[] Split(params char[] separator)        返回的字符串数组包含此实例中的子字符串 2) public string[] S

【分享】通过Excel生成批量SQL语句，处理大量数据的好办法

我们经常会遇到这样的要求:用户给发过来一些数据,要我们直接给存放到数据库里面,有的是Insert,有的是Update等等,少量的数据我们可以采取最原始的办法,也就是在SQL里面用Insert into来实现,但是如果有几十条几百条甚至上千条数据的时候继续写单独的SQL语句的话那就惨了,其实有两种简单的方法: 第一,将Excel数据整理好了之后,通过SQL的导入功能直接导进数据库,但是得保证数据库字段和Excel的字段一致. 第二,通过Excel来生成对应的SQL语句,直接将SQL语句复制到分析器

sql语句查询重复的数据

查找所有重复标题的记录:SELECT *FROM t_info aWHERE ((SELECT COUNT(*)FROM t_infoWHERE Title = a.Title) > 1)ORDER BY Title DESC一.查找重复记录1.查找全部重复记录Select * From 表 Where 重复字段 In (Select 重复字段 From 表 Group By 重复字段 Having Count(*)>1)2.过滤重复记录(只显示一条)Select * From HZT Whe

hbase之python利用thrift操作hbase数据和shell操作

前沿: 以前都是用mongodb的,但是量大了,mongodb显得不那么靠谱,改成hbase撑起一个量级. HBase是Apache Hadoop的数据库,能够对大型数据提供随机.实时的读写访问.HBase的目标是存储并处理大型的数据.HBase是一个开源的,分布式的,多版本的,面向列的存储模型.它存储的是松散型数据. HBase提供了丰富的访问接口. HBase Shell Java clietn API Jython.Groovy DSL.Scala REST Thrift(Ruby.Pyt

EF Core中执行Sql语句查询操作之FromSql，ExecuteSqlCommand，SqlQuery

一.目前EF Core的版本为V2.1 相比较EF Core v1.0 目前已经增加了不少功能. EF Core除了常用的增删改模型操作,Sql语句在不少项目中是不能避免的. 在EF Core中上下文,可以返货DbConnection ,执行sql语句.这是最底层的操作方式,代码写起来还是挺多的. 初次之外 EF Core中还支持 FromSql,ExecuteSqlCommand 连个方法,用于更方便的执行Sql语句. 另外,目前版本的EF Core 不支持SqlQuery,但是我们可以自己扩

SQL语句表操作

创建表create table student(    id int not null auto_increment primary key comment '这是主键',    sno varchar(10) comment '这是姓名',    sex int default 1 comment '这是性别 1代表男 0代表女',    brithday date);数据类型: int date datetime  timestemp  varchar(20)查看表结构desc studen

6-04使用SQL语句更新数据

修改数据语法: UPDATTE 表名 SET 列名 =更新值 WHERE 更新条件 1:省略WHERE条件的更新: 更新性别: UPDATE  UserInfo SET Gender=1 三行受影响. 2:修改一行数据: UPDATE  UserInfo SET    UserName='张三'   WHERE UserID='yoyo' 3:更新多行数据,用,分隔: UPDATE  UserInfo SET    UserName='张三' UserAddress='海淀'  WHERE Us