第3章 Hive数据类型

第3章 Hive数据类型

3.1 基本数据类型

对于Hive的String类型相当于数据库的varchar类型,该类型是一个可变的字符串,不过它不能声明其中最多能存储多少个字符,理论上它可以存储2GB的字符数。

3.2 集合数据类型

Hive有三种复杂数据类型ARRAYMAPSTRUCT。ARRAY和MAP与Java中的Array和Map类似,而STRUCT与C语言中的Struct类似,它封装了一个命名字段集合,复杂数据类型允许任意层次的嵌套。

案例实操

  1) 假设某表有如下一行,我们用JSON格式来表示其数据结构。在Hive下访问的格式为

{
    "name": "songsong",
    "friends": ["bingbing" , "lili"] ,       //列表Array,
    "children": {                      //键值Map,
        "xiao song": 18 ,
        "xiaoxiao song": 19
    }
    "address": {                      //结构Struct,
        "street": "hui long guan" ,
        "city": "beijing"
    }
}

2)基于上述数据结构,我们在Hive里创建对应的表,并导入数据。

  创建本地测试文件test.txt

songsong,bingbing_lili,xiao song:18_xiaoxiao song:19,hui long guan_beijing
yangyang,caicai_susu,xiao yang:18_xiaoxiao yang:19,chao yang_beijing

注意:MAP,STRUCT和ARRAY里的元素间关系都可以用同一个字符表示,这里用“_”。

3)Hive上创建测试表test

create table test(
name string,
friends array<string>,
children map<string, int>,
address struct<street:string, city:string>
)
row format delimited fields terminated by ‘,‘
collection items terminated by ‘_‘
map keys terminated by ‘:‘
lines terminated by ‘\n‘;

字段解释:

row format delimited fields terminated by ‘,‘  -- 列分隔符

collection items terminated by ‘_‘   --MAP STRUCT 和 ARRAY 的分隔符(数据分割符号)

map keys terminated by ‘:‘ -- MAP中的key与value的分隔符

lines terminated by ‘\n‘; -- 行分隔符

4)导入文本数据到测试表

hive (default)> load data local inpath ‘/opt/module/datas/test.txt’into table test

5)访问三种集合列里的数据,以下分别是ARRAY,MAP,STRUCT的访问方式

hive (default)> select friends[1],children[‘xiao song‘],address.city from test
where name="songsong";
OK
_c0     _c1     city
lili    18      beijing
Time taken: 0.076 seconds, Fetched: 1 row(s)

3.3 类型转化

  Hive的原子数据类型是可以进行隐式转换的,类似于Java的类型转换,例如某表达式使用INT类型,TINYINT会自动转换为INT类型,但是Hive不会进行反向转化,例如,某表达式使用TINYINT类型,INT不会自动转换为TINYINT类型,它会返回错误,除非使用CAST操作。

  1.隐式类型转换规则如下

  (1)任何整数类型都可以隐式地转换为一个范围更广的类型,如TINYINT可以转换成INT,INT可以转换成BIGINT。

  (2)所有整数类型、FLOAT和STRING类型都可以隐式地转换成DOUBLE。

  (3)TINYINT、SMALLINT、INT都可以转换为FLOAT。

  (4)BOOLEAN类型不可以转换为任何其它的类型。

  2.可以使用CAST操作显示进行数据类型转换

  例如CAST(‘1‘ AS INT)将把字符串‘1‘ 转换成整数1;如果强制类型转换失败,如执行CAST(‘X‘ AS INT),表达式返回空值 NULL。

原文地址:https://www.cnblogs.com/Diyo/p/11462548.html

时间: 2024-10-08 21:21:02

第3章 Hive数据类型的相关文章

大数据技术之_08_Hive学习_01_Hive入门+Hive安装、配置和使用+Hive数据类型

第1章 Hive入门1.1 什么是Hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点1.3 Hive架构原理1.4 Hive和数据库比较1.4.1 查询语言1.4.2 数据存储位置1.4.3 数据更新1.4.4 索引1.4.5 执行1.4.6 执行延迟1.4.7 可扩展性1.4.8 数据规模第2章 Hive安装.配置和使用2.1 Hive安装地址2.2 Hive安装部署2.3 将本地文件导入Hive案例2.4 MySql安装2.4.1 安装包准备2.4.2 安装MySql服务器2.

第二章 Mysql数据类型简介

第二章 Mysql数据类型简介 ·     第一节:整数类型.浮点数类型和定点数类型 整型: ·TinyInt   (1字节) ·SmallInt   (2字节) ·MediumInt  (3字节) ·Int和Integer(4字节) ·BigInt    (8字节) 浮点数和定点数: ·Float   (4字节) ·Double  (8字节) ·Decimal(M,D) <定点数>(M表示总长度<包含小数点>,D表示小数位数) ·      第二节:日期与时间类型 ·Year  

范磊 C++ 第4章 C++数据类型

1 // section_4.cpp : Defines the entry point for the console application. 2 //范磊C++ 第4章 C++数据类型 3 //c++有6种数据类型 4 /* 5 布尔型 bool .布尔型可表示两个逻辑值0和1.即"真" 和 "假". 6 字符型 char . 7 双字节行 w_char 8 整形 int 9 单精度浮点型 float 10 双精度浮点型 double 11 */ 12 13

c++primerplus(第六版)编程题&mdash;&mdash;第3章(数据类型)

声明:作者为了调试方便,每一章的程序写在一个工程文件中,每一道编程练习题新建一个独立文件,在主函数中调用,我建议同我一样的初学者可以采用这种方式,调试起来会比较方便. 工程命名和文件命名可以命名成易识别的名字,当然你也可以随便自定义,只是作者本人偏好: 工程名:cprimerplus6th_chapter0_conten.pro 文件名:cprimerplus6th_exercise_0_0( ) 主函数: int main( int argc, char **argv) { //cprimer

Hive数据类型及常用操作总结(一)

一.Hive 数据类型 Hive 提供了基本数据类型和复杂数据类型,复杂数据类型是 Java 语言所不具有的. 基本数据类型 Hive是用java开发的,hive里的基本数据类型和java的基本数据类型也是一一对应的,除了string类型.有符号的整数类型:TINYINT.SMALLINT.INT和BIGINT分别等价于java的byte.short.int和long原子类型,它们分别为1字节.2字节.4字节和8字节有符号整数.Hive的浮点数据类型FLOAT和DOUBLE,对应于java的基本

Hive数据类型与文件存储格式

Hive数据类型 基础数据类型: TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP,DECIMAL,CHAR,VARCHAR,DATE. 复杂数据类型: 包括ARRAY,MAP,STRUCT,UNION,这些复杂类型是由基础类型组成的. ARRAY:ARRAY类型是由一系列相同数据类型元素组成的,这些元素可以通过下标来访问.比如有一个ARRAY类型的变量fruits,它是由['apple','oran

第九章构造数据类型实验

---恢复内容开始--- 第九章构造数据类型实验 一.实验项目: 1.结构体变量的应用. 2.结构体数组的应用. 3.共用体的应用. 4.机构体指针的应用. 姓名:李儿龙    实验地点:教学楼514教室     实验时间:6月28日 二.实验目的 1.巩固学生对结构体这种数据机构概念的理解,增强程序设计能力. 2.巩固学生对结构体这种数据机构概念的理解,增强程序设计能力. 3.巩固学生对结构体.共用体这种数据机构概念的理解,增强程序设计能力. 4.巩固学生对结构体这种数据机构概念的理解,增强程

第2章 Hive安装

第2章 Hive安装 2.1 Hive安装地址 1.Hive官网地址 http://hive.apache.org/ 2.文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3.下载地址 http://archive.apache.org/dist/hive/ 4.github地址 https://github.com/apache/hive 2.2 Hive安装部署 (1 解压   2 配置环境变量   

《Linux Device Drivers》第十一章 核心数据类型——note

基本介绍 因为Linux多平台特性,不管是哪一个重要驱动力应该是便携 与内核代码相关的核心问题应该是访问的同时是数据项的已知长度.能力和利用不同的处理器 内核使用的数据类型主要分为三类 类似int这种标准C语言类型 类似u32这种有确定大小的类型 像pid_t这种用于特定内核对象的类型 本章将讨论在什么情况下使用这三种类型以及怎样使用 使用标准C语言类型 当我们须要"两个字节的填充符"或者"用四个字节字符串表示的某个东西"时.我们不能使用标准类型,由于在不同的体系架