hive与hbase整合过程

实现目标

  1. Hive可以实时查询Hbase中的数据.
  2. hive中的表插入数据会同步更新到hbase对应的表中.
  3. 可以将hbase中不同的表中的列通过 left 或 inner join 方式映射到hive 中的一个视图中.

Hive map hbase

1,启动hive hbase

在hive hbase服务启动的情况下, $HIVE_HOME/bin/hive --auxpath $HIVE_HOME/lib/hive-hbase-handler-1.1.0-cdh5.7.1.jar,$HIVE_HOME/lib/hbase-common-1.2.0-cdh5.7.1.jar,$HIVE_HOME/lib/zookeeper-3.4.5-cdh5.7.1.jar,$HIVE_HOME/lib/guava-14.0.1.jar --hiveconfhbase.master=dwrj5123:60000      (可能不需要这个过程)  .

2, 查询hbase中表的结构

(1)查询jinan:SI3U_AC06_TEMP

describe ‘jinan:SI3U_AC06_TEMP

Table jinan:SI3U_AC06_TEMP is ENABLED

jinan:SI3U_AC06_TEMP

COLUMN FAMILIES DESCRIPTION

{NAME => ‘AC06_TEMP‘, BLOOMFILTER => ‘ROW‘, VERSIONS => ‘1‘, IN_MEMORY => ‘false‘, KEEP_DELETED_CELLS => ‘FALSE‘, DATA_BLOCK_ENCODING => ‘NONE‘, TTL => ‘

FOREVER‘, COMPRESSION => ‘NONE‘, MIN_VERSIONS => ‘0‘, BLOCKCACHE => ‘true‘, BLOCKSIZE => ‘65536‘, REPLICATION_SCOPE => ‘0‘}

1 row(s) in 0.1960 seconds

其中jinan:SI3U_AC06_TEMP为表名, 列族为AC06_TEMP,通过查询表中的数据得知有不限于以下列:

AC06_TEMP:AAC001,

AC06_TEMP:AAE140,

AC06_TEMP:AAE149,

AC06_TEMP:BAA044,

AC06_TEMP:BAA035,

AC06_TEMP:BAA036,

AC06_TEMP:AAE034

(2) 查询jinan:SI3U_AC01

hbase(main):003:0> describe ‘jinan:SI3U_AC01‘

Table jinan:SI3U_AC01 is ENABLED

jinan:SI3U_AC01

COLUMN FAMILIES DESCRIPTION

{NAME => ‘AC01‘, BLOOMFILTER => ‘ROW‘, VERSIONS => ‘1‘, IN_MEMORY => ‘false‘, KEEP_DELETED_CELLS => ‘FALSE‘

MPRESSION => ‘NONE‘, MIN_VERSIONS => ‘0‘, BLOCKCACHE => ‘true‘, BLOCKSIZE => ‘65536‘, REPLICATION_SCOPE =>

1 row(s) in 0.1850 seconds

jinan:SI3U_AC01 通过查询表中的数据得到不限于以下列:

AC01:AAC001,

AC01:AAC003,

AC01:AAA109

3, 创建hive 表到hbase映射

(1) 创建hive 表jinan_SI3U_AC01 到hbase 表"jinan:SI3U_AC01的映射:

解释: jinan_SI3U_AC01为hive 中表名, jinan:SI3U_AC01为需要映射的hbase表名.

":key,AC01:AAC001,AC01:AAC003,AC01:AAA109": 为需要映射的列, AC01为列族,多列以逗号隔开.

(2) 创建hive 表jinan_SI3U_AC06_TEMP 到hbase表jinan:SI3U_AC06_TEMP的映射:

CREATE EXTERNAL  TABLE jinan_SI3U_AC06_TEMP(key string,AAC001 string,AAE140 string,AAE149 string,BAA044 string,BAA035 decimal(19,4),BAA036 decimal(19,4),AAE034 TIMESTAMP )

STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler‘

WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,AC06_TEMP:AAC001,AC06_TEMP:AAE140,AC06_TEMP:AAE149,AC06_TEMP:BAA044,AC06_TEMP:BAA035,AC06_TEMP:BAA036,AC06_TEMP:AAE034")  TBLPROPERTIES ("hbase.table.name" = "jinan:SI3U_AC06_TEMP");

Hive创建视图

hive 中可以通过创建视图的方式将多个表的数据整合成一个视图,方便查询和使用. 这里以上面映射的jinan_SI3U_AC01jinan_SI3U_AC06_TEMP两个表为例.

create view fact_view (AAC001,AAC003,AAA109,AAE140,AAE149,BAA044,BAA035,BAA036, AAE034 ) as  SELECT a.AAC001, a.AAC003,a.AAA109, b.AAE140,b.AAE149, b.BAA044,b.BAA035, b.BAA036,b.AAE034 FROM  jinan_SI3U_AC01 a RIGHT JOIN jinan_SI3U_AC06_TEMP b ON a.aac001 =b.aac001;


表名


列名


视图名


jinan_SI3U_AC01


AAC001

AAC003

AAA109

 
fact_view


jinan_SI3U_AC06_TEMP


AAE140

AAE149

BAA044

BAA035

BAA036

AAE034

通过SELECT * FROM fact_view; 可以查询到有效数据.

KYLIN hive 视图的使用

kylin 支持hive 视图构建立方体, 过程与使用hive 表相同. 构建立方体完成之后,执行查询,

SELECT SUM(BAA035) FROM FACT_VIEW  left inner join DATE_VIEW ON FACT_VIEW.aae034=DATE_VIEW.start_date where(DATE_VIEW.start_date>‘2014-05-01‘ and DATE_VIEW.start_date<‘2015-01-01‘);

总结

Hive 与hbase实现了通过一次映射, 可以实时查询hbase中的数据, 也可以从hive表中插入数据到hbase. 通过构建视图的方式可以将多个hive 表的数据整合到一个视图中, 方便数据的使用, 通过以上方式对hbase 中数据的利用不占用数据储存空间.缺点,以上过程无数据清洗过程,可能会存在数据冲突的问题.

参考

https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration

时间: 2024-09-29 08:25:03

hive与hbase整合过程的相关文章

HBase 与Hive数据交互整合过程详解

Hive和Hbase整合理论 1.为什么hive要和hbase整合 2.整合的优缺点 优点: (1).Hive方便地提供了Hive QL的接口来简化MapReduce的使用, 而HBase提供了低延迟的数据库访问.如果两者结合,可以利 用MapReduce的优势针对HBase存储的大量内容进行离线的计算和分析. (2).操作方便,hive提供了大量系统功能 缺点: 性能的损失,hive有这样的功能, 他支持通过类似sql语句的语法来操作hbase 中的数据, 但是速度慢. 3.整合需要做什么样的

Hive(五):hive与hbase整合

配置 hive 与 hbase 整合的目的是利用 HQL 语法实现对 hbase 数据库的增删改查操作,基本原理就是利用两者本身对外的API接口互相进行通信,两者通信主要是依靠hive_hbase-handler.jar工具类. 但请注意:使用Hive操作HBase中的表,只是提供了便捷性,前面章节已经介绍,hiveQL引擎使用的是MapReduce,对于性能上,表现比较糟糕,在实际应用过程中可针对不同的场景酌情使用. 注意:本文介绍的内容适用的版本见我前面章节,HDP2.4.2 ( HBase

hive与hbase整合

配置环境. hadoop 2.4 hbase 0.98.3 hive 0.13.1(源用的mysql) 配置. 分2种情况(1.hbase与hive在一台机器上,2.hbase与hive不在同一台机器上) (1)hbase与hive在一台机器上 比较简单,只需要在环境变量里把hbase,hive的home配置好即可.当然也可以按照不在一台进行配置. #config hadoop export HADOOP_HOME=/home/hUser/hadoop-2.4.0 export PATH=$HA

hive和Hbase整合

本文部分来源:http://www.it165.net/admin/html/201406/3239.html https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration 创建 表:hbase_hive_1 REATE TABLE hbase_hive_1(key int, value string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' W

Hadoop Hive与Hbase整合+thrift

1.  简介 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析. Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类, 大致意思如图所示

hive存储处理器(StorageHandlers)以及hive与hbase整合

此篇文章基于hive官方英文文档翻译,有些不好理解的地方加入了我个人的理解,官方的英文地址为: 1.https://cwiki.apache.org/confluence/display/Hive/StorageHandlers 2.https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration 一 存储处理器介绍 通过HIVE存储处理器,不但可以让hive基于hbase实现,还可以支持cassandra JDBC MongoD

Hive与Hbase关系整合

近期工作用到了Hive与Hbase的关系整合,虽然从网上参考了很多的资料,但是大多数讲的都不是很细,于是决定将这块知识点好好总结一下供大家分享,共同掌握! 本篇文章在具体介绍Hive与Hbase整合之前,先给大家用一个流程图介绍Hadoop业务的开发流程以及Hive与Hbase的整合在业务当中的必要性.  其中在数据存入hbase—>Hive对数据进行统计分析的这个步骤中就涉及到了Hive与Hbase的整合,所以了解Hive与Hbase的整合是很有必要的. 1.Hive与Hbase整合的必要性 

Hive HBase 整合

环境说明: l  hadoop:2.4.0 l  Zookeeper:3.4.6 l  Hbase:0.96 l  Hive:0.13.1   1.  Hive整合HBase原理 Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠Hive安装包\apache-hive-0.13.1-bin\lib\hive-hbase-handler-0.9.0.jar工具类,它负责Hbase和Hive进行通信的. Hive和HBase通信原理如下图: 2.  Hive

hive安装配置+与hbase整合

一.hive介绍hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析. 二.安装hive安装前提是hadoop集群已经安装好,并且采用cdh的yum源,hadoop.hdfs.hbase等已经就绪. yum -y install hive