Hive + HBase,用HQL查询HBase

Hive整合HBase:数据实时写Hbase,实现在Hive中用sql查询

以下操作的 Hive版本:2.3.6 ,HBase版本:2.0.4
  • 在HBase中创建表:t_hbase_stu_info

    create ‘t_hbase_stu_info‘,‘st1‘
  • 在Hive中创建外部表:t_hive_stu_info
    create external table t_hive_stu_info
    (id int,name string,age int,sex string)
    stored by ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler‘
    with serdeproperties("hbase.columns.mapping"=":key,st1:name,st1:age,st1:sex")
    tblproperties("hbase.table.name"="t_hbase_stu_info");
  • 在Hbase中给t_hbase_stu_info插入数据
    put ‘t_hbase_stu_info‘,‘1001‘,‘st1:name‘,‘zs‘
    put ‘t_hbase_stu_info‘,‘1001‘,‘st1:age‘,‘23‘
    put ‘t_hbase_stu_info‘,‘1001‘,‘st1:sex‘,‘man‘
    put ‘t_hbase_stu_info‘,‘1002‘,‘st1:name‘,‘ls‘
    put ‘t_hbase_stu_info‘,‘1002‘,‘st1:age‘,‘56‘
    put ‘t_hbase_stu_info‘,‘1002‘,‘st1:sex‘,‘woman‘
  • 查看Hbase中的数据
    scan ‘t_hbase_stu_info‘

  1. 查看Hive中的数据

    select * from t_hive_stu_info;

原文地址:https://blog.51cto.com/simplelife/2483754

时间: 2024-11-08 20:44:47

Hive + HBase,用HQL查询HBase的相关文章

Phoenix实现用SQL查询HBase

文章来源:大牛笔记 HBase,一个NoSQL数据库,可存储大量非关系型数据. HBase,可以用HBase shell进行操作,也可以用HBase Java api进行操作.HBase虽然是一个数据库,但是它的查询语句,很不太好用.要是能像使用Mysql等关系型数据库一样用sql语句操作HBase,那就很Perfect了. 现有工具有很多Hive,Tez,Impala,Shark/Spark,Phoenix等.今天主要记录Phoenix. phoenix,由saleforce.com开源的一个

Phoenix的安装使用与SQL查询HBase

一. Phoenix的简介 1. 什么是phoenix 现有hbase的查询工具有很多如:Hive,Tez,Impala,Shark/Spark,Phoenix等.今天主要说Phoenix.phoenix是一个在hbase上面实现的基于hadoop的OLTP技术,具有低延迟.事务性.可使用sql.提供jdbc接口的特点. 而且phoenix还提供了hbase二级索引的解决方案,丰富了hbase查询的多样性,继承了hbase海量数据快速随机查询的特点.但是在生产环境中,不可以用在OLTP中.在线事

基于Solr的HBase多条件查询测试

转自:http://www.cnblogs.com/chenz/articles/3229997.html 背景: 某电信项目中采用HBase来存储用户终端明细数据,供前台页面即时查询.HBase无可置疑拥有其优势,但其本身只对rowkey支持毫秒级的快速检索,对于多字段的组合查询却无能为力.针对HBase的多条件查询也有多种方案,但是这些方案要么太复杂,要么效率太低,本文只对基于Solr的HBase多条件查询方案进行测试和验证. 原理: 基于Solr的HBase多条件查询原理很简单,将HBas

使用MapReduce查询Hbase表指定列簇的全部数据输入到HDFS(一)

package com.bank.service; import java.io.IOException; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hba

基于Solr的HBase多条件查询

基于Solr的HBase多条件查询——转载: 背景: 某电信项目中采用HBase来存储用户终端明细数据,供前台页面即时查询.HBase无可置疑拥有其优势,但其本身只对rowkey支持毫秒级的快速检索,对于多字段的组合查询却无能为力. 针对HBase的多条件查询也有多种方案,但是这些方案要么太复杂,要么效率太低,本文只对基于Solr的HBase多条件查询方案进行测试和验证. 原理: 基于Solr的HBase多条件查询原理很简单,将HBase表中涉及条件过滤的字段和rowkey在Solr中建立索引,

hbase实现分页查询

[Author]: kwu hbase实现分页查询,实现按时间查询最新的15条,hbase的查询主要是通过rowkey来进行的,保证查询的高效.column的filter查询效率较低. 1.rowkey的设计 以时间的倒序进行查询,如20150818_152130来看,设计rowkey 20150818的hash64值+(999999-152130). 1)MurmurHash的64的冲突非常小,并实现rowkey的散列. 2)日分秒与999999的差值,可以实现逆序 2.插入数据的操作 Str

java调用scala 查询hbase数据

问题:将scala打成jar包,提供给java调用,但是java一直提示找不到类 实现功能:利用spark查询hbase数据,然后提供给外部接口调用 我的方式:spark查询Hbase用scala实现(已经完成),将scala打成jar 包提供给java调用一直提示找不到scala 中的主类

查询MYSQL和查询HBASE速度比较

Mysql,关系型数据库: HBase,NoSql数据库. 查询Mysql和查询HBase,到底哪个速度快呢? 与一些真正的大牛讨论时,他们说HBase写入速度,可以达到每秒1W.而HBase的理想速度为每秒10W. 来个实验说明一下,此实验只能表明,当前环境下运行状态.我的实验效果,没有到1W,还在优化中- 环境: 有3台虚拟机,运行Hadoop集群:3台虚拟机也在跑HBase:master,node1,node2 master上,同时安装了Mysql数据库. 目前有这样一个需求: 有一堆文本

大数据查询——HBase读写设计与实践

背景介绍 本项目主要解决 check 和 opinion2 张历史数据表(历史数据是指当业务发生过程中的完整中间流程和结果数据)的在线查询.原实现基于 Oracle 提供存储查询服务,随着数据量的不断增加,在写入和读取过程中面临性能问题,且历史数据仅供业务查询参考,并不影响实际流程,从系统结构上来说,放在业务链条上游比较重.本项目将其置于下游数据处理 Hadoop 分布式平台来实现此需求.下面列一些具体的需求指标: 1.数据量:目前 check 表的累计数据量为 5000w+ 行,11GB:op