hive的基本操作

1、创建表

First, create a table with tab-delimited text file format:

(1)CREATE TABLE u_data (
  userid INT,
  movieid INT,
  rating INT,
  unixtime STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ‘\t‘
STORED AS TEXTFILE;

(2)//creates a table called invites with two columns and a partition column called ds. //The partition column is a virtual column. //It is not part of the data itself but is derived from the partition that a particular dataset is loaded into.
CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);

(3)创建一个带有分区的表CREATE TABLE page_view(viewTime INT, userid BIGINT,                page_url STRING, referrer_url STRING,                ip STRING COMMENT ‘IP Address of the User‘)COMMENT ‘This is the page view table‘PARTITIONED BY(dt STRING, country STRING)CLUSTERED BY(userid) SORTED BY(viewTime)  INTO 32 BUCKETSROW FORMAT DELIMITED        FIELDS TERMINATED BY ‘1‘STORED AS SEQUENCEFILE;说明:In the example above, the table is clustered by a hash function of userid into 32 buckets. Within each bucket the data is sorted in increasing order of viewTime. Such an organization allows the user to do efficient sampling on the clustered column - in this case userid. The sorting property allows internal operators to take advantage of the better-known data structure while evaluating queries with greater efficiency.

2、修改表和删除表

(1)修改表名

ALTER TABLE events RENAME TO 3koobecaf;

(2)给表增加字段

 ALTER TABLE pokes ADD COLUMNS (new_col INT);

(3)给表增加字段和字段注释

ALTER TABLE invites ADD COLUMNS (new_col2 INT COMMENT ‘a comment‘);

(4)替换标的字段

ALTER TABLE invites REPLACE COLUMNS (foo INT, bar STRING, baz INT COMMENT ‘baz replaces new_col2‘);//这里是替换表的前三列,其他的列会被删除

(5)删除表

DROP TABLE pokes;

删除标的分区:ALTER TABLE pv_users DROP PARTITION (ds=‘2008-08-08‘)

3、加载本地数据到hive的表中

(1) load u.data into the table that was just created:LOAD DATA LOCAL INPATH  ‘<path>/u.data‘  OVERWRITE INTO TABLE u_data;

(2)Count the number of rows in table u_data:SELECT COUNT(*) FROM u_data

4、加载hdfs上的数据到hive的表中

LOAD DATA INPATH ‘/examples/files/kv1.txt‘ OVERWRITE INTO TABLE pokes;

5、将hive中表的数据加载到本地和hdfs上

(1)将hive中的表的数据加载到本地

insert overwrite local directory ‘/home/liujiyu/hivetolocal‘ select a.* from inc a;

(2)将hive中的表的数据加载到hdfs上

insert overwrite directory ‘/user/liujiyu/hivetolocal‘ select a.* from inc a;

6、JOIN的操作

 FROM pokes t1 JOIN invites t2 ON (t1.bar = t2.bar) INSERT OVERWRITE TABLE events SELECT t1.bar, t1.foo, t2.foo;
时间: 2024-10-11 00:37:35

hive的基本操作的相关文章

Hive的基本操作详解

一 Hive数据类型 1.1 基本数据类型 Hive数据类型 Java数据类型 长度 例子 TINYINT byte 1byte有符号整数 20 SMALINT short 2byte有符号整数 20 INT int 4byte有符号整数 20 BIGINT long 8byte有符号整数 20 BOOLEAN boolean 布尔类型,true或者false TRUE  FALSE FLOAT float 单精度浮点数 3.14159 DOUBLE double 双精度浮点数 3.14159

2、hive的基本操作

1.创建表 hive>CREATE TABLE userTables(id INT,name STRING); 或者 hive> CREATE TABLE userTables(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' LINES TERMINATED BY '\n' STORED AS TEXTFILE; 其中TERMINATED BY ' '指定了数据分隔符是一个空格 创建一个新表,结构与其他一样

Hive之基本操作

1,CREATE table. CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment ],... )] [COMMENT table_comment ] [PARTITIONED BY (col_name ,data_type [COMMENT col_comment] , ...] [CLUSTERED BY (col_name , col_name, ...)

hive的基本操作与应用

1.启动hadoop 2.Hdfs上创建文件夹 创建的文件夹是datainput 3.上传文件至hdfs 启动Hive 4.创建原始文档表 5.导入文件内容到表docs并查看 6.用HQL进行词频统计,结果放在表word_count里 7.查看统计结果 原文地址:https://www.cnblogs.com/a7-7/p/9053042.html

Hive HQL基本操作

一. DDL操作 (数据定义语言) 具体参见:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL 其实就是我们在创建表的时候用到的一些sql,比如说:CREATE.ALTER.DROP等.DDL主要是用在定义或改变表的结构,数据类型,表之间的链接和约束等初始化工作上 1 .创建/ 删除/ 修改/使用数据库 1.1创建数据库 首先启动: 启动集群: service iptables stop zkServer.sh

第2节 hive基本操作:6、7、8

第1节 hive安装:6.hive的基本操作:7.创建数据库的语法:8.hive当中创建内部表的语法. hive的基本操作: 创建数据库与创建数据库表操作 创建数据库操作:create database if not exists xxx; 创建数据库表的操作: CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name 创建表的三个关键字段 [(col_name data_type [COMMENT col_comment], ...)] 定义我们的列

Hive部署及优化配置

1.1安装 1.Hive依赖hadoop环境,所有在装之前要先安装hadoop,hive一般安装在hadoop的NameNode节点上面: 2.下载 Hive最新Release版(0.7.1 ) http://www.apache.org/dyn/closer.cgi/hive/ 3.将压缩安装包解压至一目录,如/home/hadoop/hive 4.配制metadata存放方式 默认metadatga是存放在derby里,这种方式不允许多个用户同时登陆hive shell,所有建议用mysql

Hive的工作原理和相关操作

Hive是一个基于Hadoop的数据仓库,提供比较完整的SQL功能(本质还是将SQL转换为MapReduce),可供数据分析师利用Hadoop对海量数据进行分析.但是,Hive也有自身的缺点,比如比较慢等. 一. Hive的工作原理和结构 二. Hive的基本操作 1. 表操作 2. 视图操作 3. 索引操作 4. 分区操作 5. 桶操作 三. 使用JDBC开发Hive程序

BG.Hive - part1

1. Hive架构 What is hive? Facebook,https://en.wikipedia.org/wiki/Apache_Hive a> 一种工具,可以通过SQL轻松的访问数据,可以完成数据仓库任务,如ETL,报表及数据分析 b> 一种机制,增强多样化数据格式的结构 c> 数据访问,HDFS或者其他的数据存储系统(HBase) d> 查询方式,类SQL的HiveQL 默认引擎为MapReduce,简单的Select * From..不会转换为MR任务 e>