Hive sql 语法解读

一、 创建表

在官方的wiki里,example是这种:

Sql代码

  1. CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
  2. [(col_name data_type [COMMENT col_comment], ...)]
  3. [COMMENT table_comment]
  4. [PARTITIONED BY (col_name data_type
  5. [COMMENT col_comment], ...)]
  6. [CLUSTERED BY (col_name, col_name, ...)
  7. [SORTED BY (col_name [ASC|DESC], ...)]
  8. INTO num_buckets BUCKETS]
  9. [ROW FORMAT row_format]
  10. [STORED AS file_format]
  11. [LOCATION hdfs_path]

[ROW FORMAT DELIMITED]keyword,是用来设置创建的表在载入数据的时候,支持的列分隔符;

[STORED AS file_format]keyword是用来设置载入数据的数据类型。Hive本身支持的文件格式仅仅有:Text File,Sequence File。假设文件数据是纯文本,能够使用 [STORED AS TEXTFILE]。假设数据须要压缩,使用 [STORED AS SEQUENCE] 。通常情况,仅仅要不须要保存序列化的对象,我们默认採用[STORED AS TEXTFILE]。

那么我们创建一张普通的hive表,hive sql就例如以下:

Sql代码    

  1. CREATE TABLE test_1(id INTname STRING, city STRING) SORTED BY TEXTFILE ROW FORMAT DELIMITED‘\t’

当中,hive支持的字段类型,并不多,能够简单的理解为数字类型和字符串类型,具体列表例如以下:

Sql代码    

  1. TINYINT
  2. SMALLINT
  3. INT
  4. BIGINT
  5. BOOLEAN
  6. FLOAT
  7. DOUBLE
  8. STRING

Hive的表,与普通关系型数据库,如mysql在表上有非常大的差别,全部hive的表都是一个文件,它是基于Hadoop的文件系统来做的。

hive整体来说能够总结为三种不同类型的表。

1. 普通表

普通表的创建,如上所说,不讲了。当中,一个表,就相应一个表名相应的文件。

2. 外部表

EXTERNAL keyword能够让用户创建一个外部表,在建表的同一时候指定一个指向实际数据的路径(LOCATION),Hive 创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径,不正确数据的位置做不论什么改变。在删除表的时候,内部表的元数据和数据会被一起删除,而外部表仅仅删除元数据,不删除数据。详细sql例如以下:

Sql代码    

  1. CREATE EXTERNAL TABLE test_1(id INTname STRING, city STRING) SORTED BY TEXTFILE ROW FORMAT DELIMITED‘\t’ LOCATION ‘hdfs://../../..’

3. 分区表

有分区的表能够在创建的时候使用 PARTITIONED BY 语句。一个表能够拥有一个或者多个分区,每个分区单独存在一个文件夹下。并且,表和分区都能够对某个列进行 CLUSTERED BY 操作,将若干个列放入一个桶(bucket)中。也能够利用SORT BY 对数据进行排序。这样能够为特定应用提高性能。详细SQL例如以下:

Sql代码    

  1. CREATE TABLE test_1(id INTname STRING, city STRING) PARTITIONED BY (pt STRING) SORTED BY TEXTFILE ROW FORMAT DELIMITED‘\t’

Hive的排序,由于底层实现的关系,比較不同于普通排序,这里先不讲。

桶的概念,主要是为性能考虑,能够理解为对分区内列,进行再次划分,提高性能。在底层,一个桶事实上是一个文件。假设桶划分过多,会导致文件数量暴增,一旦达到系统文件数量的上限,就杯具了。哪种是最优数量,这个哥也不知道。

分区表实际是一个目录,表名即目录名。每一个分区,实际是表名这个目录以下的不同文件。分区能够依据时间、地点等等进行划分。比方,每天一个分区,等于每天存每天的数据;或者每一个城市,存放每一个城市的数据。每次查询数据的时候,仅仅要写下类似 where pt=2010_08_23这种条件就可以查询指定时间得数据。

整体而言,普通表,类似mysql的表结构,外部表的意义很多其它是指数据的路径映射。分区表,是最难以理解,也是最hive最大的优势。之后会专门针对分区表进行解说。

二、 载入数据

Hive不支持一条一条的用insert语句进行插入操作,也不支持update的操作。数据是以load的方式,载入到建立好的表中。数据一旦导入,则不可改动。要么drop掉整个表,要么建立新的表,导入新的数据。

官方指导为:

Sql代码    

  1. LOAD DATA [LOCAL] INPATH ‘filepath‘ [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

Hive在数据load这块,慷慨向分为两种方式,load文件或者查询一张表,或者将某张表里的额查询结果插入指定表。

假设划分更细一点个人归纳总结为4种不同的方式的load:

1. Load data到指定的表

直接将file,载入到指定的表,当中,表能够是普通表或者分区表。详细sql例如以下:

Sql代码    

  1. LOAD DATA LOCAL INPATH ‘/home/admin/test/test.txt‘ OVERWRITE INTO TABLE test_1

keyword[OVERWRITE]意思是是覆盖原表里的数据,不写则不会覆盖。

keyword[LOCAL]是指你载入文件的来源为本地文件,不写则为hdfs的文件。

当中

‘home/admin/test/test.txt’是相对路径

‘/home/admin/test/test.txt’为据对路径

2. load到指定表的分区

直接将file,载入到指定表的指定分区。表本身必须是分区表,假设是普通表,导入会成功,可是数据实际不会被导入。详细sql例如以下:

Sql代码    

  1. LOAD DATA LOCAL INPATH ‘/home/admin/test/test.txt‘ OVERWRITE INTO TABLE test_1 PARTITION(pt=’xxxx)

load数据,hive支持目录的方式,将目录内的全部文件,都load到指定表中。Hdfs会将文件系统内的某目录路径内的文件,分散到不同的实际物理地址中。这样,在数据量非常大的时候,hive支持读取多个文件加载,而不须要限定在唯一的文件里。

3. insert+select

这个是全然不同于文件操作的数据导入方式。官方指导为:

Sql代码    

  1. Standard syntax:
  2. INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement
  3. Hive extension (multiple inserts):
  4. FROM from_statement
  5. INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1
  6. [INSERT OVERWRITE TABLE tablename2 [PARTITION ...] select_statement2] ...
  7. Hive extension (dynamic partition inserts):
  8. INSERT OVERWRITE TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement

这个的使用方法,和上面两种直接操作file的方式,截然不同。从sql语句本身理解,就是把查询到的数据,直接导入另外一张表。这个临时不细致分析,之后查询章节,再细讲。

4. alter 表,对分区操作

在对表结构进行改动的时候,我们能够添加一个新的分区,在添加新分区的同一时候,将数据直接load到新的分区其中。

Sql代码    

  1. ALTER TABLE table_name ADD
  2. partition_spec [ LOCATION ‘location1‘ ]
  3. partition_spec [ LOCATION ‘location2‘ ] ...

三、 查询

……

Hive sql 语法解读

时间: 2024-10-19 18:50:17

Hive sql 语法解读的相关文章

Hadoop Hive sql语法详解

Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需要的内容,这套SQL 简称Hive SQL,使不熟悉mapreduce 的用户很方便的利用SQL 语言查询,汇总,分析数据.而mapreduce开发人员可以把己写的mapper 和reducer 作为插件来支持

Hadoop Hive sql 语法详解

Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需要的内容,这套SQL 简称Hive SQL,使不熟悉mapreduce 的用户很方便的利用SQL 语言查询,汇总,分析数据.而mapreduce开发人员可以把己写的mapper 和reducer 作为插件来支持

hive sql 语法详解

Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构 化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需 要的内容,这套SQL 简称Hive SQL,使不熟悉mapreduce 的用户很方便的利用SQL 语言查询,汇总,分析数据.而mapreduce开发人员可以把 己写的mapper 和reducer 作为插件

Hive sql语法详解

Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构 化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需 要的内容,这套SQL 简称Hive SQL,使不熟悉mapreduce 的用户很方便的利用SQL 语言查询,汇总,分析数据.而mapreduce开发人员可以把 己写的mapper 和reducer 作为插件

【hive】——Hive sql语法详解

Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构 化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需 要的内容,这套SQL 简称Hive SQL,使不熟悉mapreduce 的用户很方便的利用SQL 语言查询,汇总,分析数据.而mapreduce开发人员可以把 己写的mapper 和reducer 作为插件

009-Hadoop Hive sql语法详解4-DQL 操作:数据查询SQL

1 基本的Select 操作 SELECT [ALL | DISTINCT] select_expr, select_expr, ...FROM table_reference[WHERE where_condition][GROUP BY col_list [HAVING condition]][   CLUSTER BY col_list  | [DISTRIBUTE BY col_list] [SORT BY| ORDER BY col_list] [LIMIT number]•使用ALL

008-Hadoop Hive sql语法详解3-DML 操作:元数据存储

一.概述 hive不支持用insert语句一条一条的进行插入操作,也不支持update操作.数据是以load的方式加载到建立好的表中.数据一旦导入就不可以修改. DML包括:INSERT插入.UPDATE更新.DELETE删除 向数据表内加载文件•将查询结果插入到Hive表中•0.8新特性 insert into 二.向数据表内加载文件 •LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION

007-Hadoop Hive sql语法详解2-修改表结构

一.表 更改表名:ALTER TABLE table_name RENAME TO new_table_name 增加表的元数据信息:ALTER TABLE table_name SET TBLPROPERTIES table_properties table_properties::[property_name = property_value…..] 用户可以用这个命令向表中增加metadata 二.列 表添加一列 :ALTER TABLE pokes ADD COLUMNS (new_co

深入浅出Hive企业级架构优化、Hive Sql优化、压缩和分布式缓存(企业Hadoop应用核心产品)

一.本课程是怎么样的一门课程(全面介绍)    1.1.课程的背景       作为企业Hadoop应用的核心产品,Hive承载着FaceBook.淘宝等大佬 95%以上的离线统计,很多企业里的离线统计甚至全由Hive完成,如我所在的电商.       Hive在企业云计算平台发挥的作用和影响愈来愈大,如何优化提速已经显得至关重要.       Hive作业的规模决定着优化层级,一个Hive作业的优化和一万的Hive作业的优化截然不同.       拥有1万多个Hive作业的大电商如何进行Hiv