hive原生和复合类型的数据加载和使用

原生类型

原生类型包括TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY (Hive 0.8.0以上才可用),TIMESTAMP (Hive 0.8.0以上才可用)，这些数据加载很容易，只要设置好列分隔符，按照列分隔符输出到文件就可以了。

假设有这么一张用户登陆表

CREATE TABLE login (
  uid  BIGINT,
  ip  STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

这表示登陆表ip字段和uid字段以分隔符‘,‘隔开。

输出hive表对应的数据

# printf "%s,%s\n" 3105007001 192.168.1.1 >> login.txt
# printf "%s,%s\n" 3105007002 192.168.1.2 >> login.txt

login.txt的内容:

# cat login.txt
3105007001,192.168.1.1
3105007002,192.168.1.2

加载数据到hive表

LOAD DATA LOCAL INPATH ‘/home/hadoop/login.txt‘ OVERWRITE INTO TABLE login PARTITION (dt=‘20130101‘);

查看数据

select uid,ip from login where dt=‘20130101‘;
3105007001    192.168.1.1
3105007002    192.168.1.2

array

假设登陆表是

CREATE TABLE login_array (
  ip  STRING,
  uid  array<BIGINT>
)
PARTITIONED BY (dt STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ‘,‘
COLLECTION ITEMS TERMINATED BY ‘|‘
STORED AS TEXTFILE;

这表示登陆表每个ip有多个用户登陆，ip和uid字段之间使用‘,‘隔开，而uid数组之间的元素以‘|‘隔开。

输出hive表对应的数据

# printf "%s,%s|%s|%s\n" 192.168.1.1 3105007010 3105007011 3105007012 >> login_array.txt

# printf "%s,%s|%s|%s\n" 192.168.1.2  3105007020 3105007021 3105007022 >> login_array.txt

login_array.txt的内容:

cat login_array.txt
192.168.1.1,3105007010|3105007011|3105007012
192.168.1.2,3105007020|3105007021|3105007022

加载数据到hive表

LOAD DATA LOCAL INPATH ‘/home/hadoop/login_array.txt‘ OVERWRITE INTO TABLE login_array PARTITION (dt=‘20130101‘);

查看数据

select ip,uid from login_array where dt=‘20130101‘;
192.168.1.1    [3105007010,3105007011,3105007012]
192.168.1.2    [3105007020,3105007021,3105007022]

使用数组

select ip,uid[0] from login_array where dt=‘20130101‘; --使用下标访问数组

select ip,size(uid) from login_array where dt=‘20130101‘; #查看数组长度

select ip from login_array where dt=‘20130101‘  where array_contains(uid,‘3105007011‘);#数组查找

更多操作参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-CollectionFunctions

map

假设登陆表是

CREATE TABLE login_map (
  ip  STRING,
  uid  STRING,
  gameinfo map<string,bigint>
)
PARTITIONED BY (dt STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ‘,‘
COLLECTION ITEMS TERMINATED BY ‘|‘
MAP KEYS TERMINATED BY ‘:‘
STORED AS TEXTFILE;

这表示登陆表每个用户都会有游戏信息，而用户的游戏信息有多个，key是游戏名，value是游戏的积分。map中的key和value以‘‘:"分隔，map的元素以‘|‘分隔。

输出hive表对应的数据

# printf "%s,%s,%s:%s|%s:%s|%s:%s\n" 192.168.1.1  3105007010 wow 10 cf 1 qqgame 2  >> login_map.txt
# printf "%s,%s,%s:%s|%s:%s|%s:%s\n" 192.168.1.2  3105007012 wow 20 cf 21 qqgame 22  >> login_map.txt

login_map.txt的内容:

# cat login_map.txt
192.168.1.1,3105007010,wow:10|cf:1|qqgame:2
192.168.1.2,3105007012,wow:20|cf:21|qqgame:22

加载数据到hive表

LOAD DATA LOCAL INPATH ‘/home/hadoop/login_map.txt‘ OVERWRITE INTO TABLE login_map PARTITION (dt=‘20130101‘);

查看数据

select ip,uid,gameinfo from login_map where dt=‘20130101‘;
192.168.1.1    3105007010    {"wow":10,"cf":1,"qqgame":2}
192.168.1.2    3105007012    {"wow":20,"cf":21,"qqgame":22}

使用map

select ip,uid,gameinfo[‘wow‘] from login_map where dt=‘20130101‘; --使用下标访问map

select ip,uid,size(gameinfo) from login_map where dt=‘20130101‘; #查看map长度

select ip,uid from login_map where dt=‘20130101‘  where array_contains(map_keys(gameinfo),‘wow‘);#查看map的key，找出有玩wow游戏的记录

更多操作参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-CollectionFunctions

struct

假设登陆表是

CREATE TABLE login_struct (
  ip  STRING,
  user  struct<uid:bigint,name:string>
)
PARTITIONED BY (dt STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ‘,‘
COLLECTION ITEMS TERMINATED BY ‘|‘
MAP KEYS TERMINATED BY ‘:‘
STORED AS TEXTFILE;

user是一个struct,分别包含用户uid和用户名。

输出hive表对应的数据

printf "%s,%s|%s|\n" 192.168.1.1  3105007010 blue  >> login_struct.txt
printf "%s,%s|%s|\n" 192.168.1.2  3105007012 ggjucheng  >> login_struct.txt

login_struct.txt的内容:

# cat login_struct.txt
192.168.1.1,3105007010,wow:10|cf:1|qqgame:2
192.168.1.2,3105007012,wow:20|cf:21|qqgame:22

加载数据到hive表

LOAD DATA LOCAL INPATH ‘/home/hadoop/login_struct.txt‘ OVERWRITE INTO TABLE login_struct PARTITION (dt=‘20130101‘);

查看数据

select ip,user from login_struct where dt=‘20130101‘;
192.168.1.1    {"uid":3105007010,"name":"blue"}
192.168.1.2    {"uid":3105007012,"name":"ggjucheng"}

使用struct

select ip,user.uid,user.name from login_map where dt=‘20130101‘;

union

用的比较少，暂时不讲

嵌套复合类型

之前讲的array,map,struct这几种复合类型，里面的元素都是原生类型，如果元素是复合类型，那该怎么加载数据呢。

假设登陆表是

CREATE TABLE login_game_complex (
  ip STRING,
  uid STRING,
  gameinfo map<bigint,struct<name:string,score:bigint,level:string>> )
PARTITIONED BY (dt STRING)
ROW FORMAT DELIMITED
STORED AS TEXTFILE;

这表示登陆表每个用户都会有游戏信息，而用户的游戏信息有多个，key是游戏id，value是一个struct，包含游戏的名字，积分，等级。

这种复杂类型的入库格式很麻烦，而且复合嵌套层次很多时，要生成的正确的格式也比较复杂，很容易出错。这里稍微提下，在嵌套层次多的情况下，分隔符会会随着复合类型嵌套层次的递增，分隔符默认会以\0,\1,\2....变化。

这里不介绍从shell下生成文件load data入库，感兴趣的同学，可以看看hive的源代码的org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe的serialize方法。

这里介绍使用另一种数据操作方式:insert，先把一个简单的表的数据，加载load到hive，再使用insert插入数据到一个嵌套复杂类型的表。

创建简单的表

CREATE TABLE login_game_simple (
  ip STRING,
  uid STRING,
  gameid bigint,
  gamename string,
  gamescore bigint,
  gamelevel string
)
PARTITIONED BY (dt STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ‘,‘
STORED AS TEXTFILE;

生成login_game_simple.txt的内容:

192.168.1.0,3105007010,1,wow,100,v1
192.168.1.0,3105007010,2,cf,100,v2
192.168.1.0,3105007010,3,qqgame,100,v3
192.168.1.2,3105007011,1,wow,101,v1
192.168.1.2,3105007011,3,qqgame,101,v3
192.168.1.2,3105007012,1,wow,102,v1
192.168.1.2,3105007012,2,cf,102,v2
192.168.1.2,3105007012,3,qqgame,102,v3

load data到hive后，再生成复杂的gameinfo map结构，插入到表login_game_complex

INSERT OVERWRITE TABLE login_game_complex PARTITION (dt=‘20130101‘)
select ip,uid,map(gameid, named_struct(‘name‘,gamename,‘score‘,gamescore,‘level‘,gamelevel) ) FROM login_game_simple  where dt=‘20130101‘ ;

查询数据

select ip,uid,gameinfo from login_game_complex where dt=‘20130101‘;
192.168.1.0    3105007010    {1:{"name":"wow","score":100,"level":"v1"}}
192.168.1.0    3105007010    {2:{"name":"cf","score":100,"level":"v2"}}
192.168.1.0    3105007010    {3:{"name":"qqgame","score":100,"level":"v3"}}
192.168.1.2    3105007011    {1:{"name":"wow","score":101,"level":"v1"}}
192.168.1.2    3105007011    {3:{"name":"qqgame","score":101,"level":"v3"}}
192.168.1.2    3105007012    {1:{"name":"wow","score":102,"level":"v1"}}
192.168.1.2    3105007012    {2:{"name":"cf","score":102,"level":"v2"}}
192.168.1.2    3105007012    {3:{"name":"qqgame","score":102,"level":"v3"}}

这里只是演示了嵌套复杂类型的入库方式，所以这里只是例子。真正要完美入库，还是需要写一个自定义函数，根据ip和uid做group by，然后把gameinfo合并起来。hive没有这样的自定义函数，篇幅着想，不引进复杂的自定义函数编写。

hive原生和复合类型的数据加载和使用,布布扣,bubuko.com

时间： 2024-12-11 01:04:25

hive原生和复合类型的数据加载和使用的相关文章

Hive中数据加载失败：root:supergroup:drwxr-xr-x

Hive中数据加载失败:inode=:root:supergroup:drwxr-xr-x 在执行hive,数据加载的时候,遇到了一个错误,如下图: 在执行程序的过程中,遇到权限问题很正常,背后原理也不是很懂,但是通过修改配置,问题已经解决了. 解决方法:hadoop 的hdfs-site文件中添加以下内容,关闭权限检查 ,然后重启Hadoop集群,即解决了上述问题. <property> <name>dfs.permissions</name>         <

实现虚拟模式的动态数据加载Windows窗体DataGridView控件 .net 4.5 （一）

实现虚拟模式的即时数据加载Windows窗体DataGridView控件 .net 4.5 原文地址 :http://msdn.microsoft.com/en-us/library/ms171624.aspx  译 Q:77811970 实现虚拟模式的原因之一 DataGridView控制只检索数据,因为它是必要的. 这就是所谓的 即时数据加载 . 如果你正在与一个非常大的表在一个远程数据库,例如,您可能希望避免启动延迟,只检索所需的数据显示和检索额外的数据只有当用户新行滚动到视图. 如果客户

APP中数据加载的6种方式-b

我们看到的APP,往往有着华丽的启动界面,然后就是漫长的数据加载等待,甚至在无网络的时候,整个处于不可用状态.那么我们怎么处理好界面交互中的加载设计,保证体验无缝衔接,保证用户没有漫长的等待感,而可以轻松自在的享受等待,对加载后的内容有明确的预期呢? 设计师在进行APP设计的设计时,往往会更加专注于界面长什么样,界面和界面之间怎么跳转,给予用户什么样的操作反馈,却偏偏特别容易忽略掉一个比较重要的环节,就是APP数据加载中的设计,所以会导致我们看到的APP,往往有着华丽的启动界面,然后就是漫长的数

DICOM：DICOM三大开源库对比分析之“数据加载”

背景: 上一篇博文DICOM:DICOM万能编辑工具之Sante DICOM Editor介绍了DICOM万能编辑工具,在日常使用过程中发现,"只要Sante DICOM Editor打不开的数据,基本可以判定此DICOM文件格式错误(准确率达99.9999%^_^)".在感叹Sante DICOM Editor神器牛掰的同时,想了解一下其底层是如何实现的.通过日常使用以及阅读软件帮助手册推断其底层依赖库很可能是dcmtk,就如同本人使用dcmtk.fo-dicom.dcm4che3等

[转]6种常见的数据加载模式设计

原文链接:http://elya.cc/2014/03/31/loading/ 设计师在进行APP设计的设计时,往往会更加专注于界面长什么样,界面和界面之间怎么跳转,给予用户什么样的操作反馈,却偏偏特别容易忽略掉一个比较重要的环节,就是APP数据加载中的设计,所以会导致我们看到的APP,往往有着华丽的启动界面,然后就是漫长的数据加载等待,甚至在无网络的时候,整个处于不可用状态.那么我们怎么处理好界面交互中的加载设计,保证体验无缝衔接,保证用户没有漫长的等待感,而可以轻松自在的享受等待,对加载后的

Android4.4 Telephony流程分析——SIM卡开机时的数据加载

本文代码以MTK平台Android 4.4为分析对象,与Google原生AOSP有些许差异,请读者知悉. 本文主要介绍sim卡数据的读取过程,当射频状态处于准备状态时,此时UiccCardApplication应处于AppState.APPSTATE_READY状态,我们沿着这个信号跟踪下去.阅读本文时可先阅读Android4.4 Telephony流程分析--SIM卡开机时的初始化一文,了解Radio和sim卡状态更新过程. 先来看一下数据加载的序列图: step1~step3,走的是更新过程

vue使用ECharts时的异步更新与数据加载

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 24.0px "Helvetica Neue"; color: #404040 } p.p2 { margin: 0.0px 0.0px 0.0px 0.0px; font: 13.0px "Helvetica Neue"; color: #737373 } p.p3 { margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px Monaco

数据加载的妙招解析

大数据中怎么来加载数据呢?数据加载应该注意哪些问题呢?关系型数据库和Impala.Hive加载数据有哪些区别呢? 在了解加载数据之前必须明确一个概念"数据验证", Impala和Hive与其他关系型数据库不一样,关系型数据库是在写的时候进行校验,比如我们创建一个表,当去给它加载数据的时候,它会去验证数据以及数据类型是不是符合要求,如果不符合,数据就加载不了. 在Hive和Impala中,它在读的时候进行校验.为什么会这样设计呢?主要是为了提升写的速度和加载的效率.那么,这样检验数据会不

BW数据加载时间分析程序

REPORT zrpbw_001 MESSAGE-ID zbw01. TYPE-POOLS:slis. TABLES:rsreqdone,rsbkrequest,rsbkdtp,rsldpio,rsstatmanpart,rsmoniptab. DATA:gt_done     TYPE TABLE OF rsreqdone, gs_done     TYPE rsreqdone, gt_rsbkdtp  TYPE TABLE OF rsbkdtp, gs_rsbkdtp  TYPE rsbkd