BG.Hive - part1

1. Hive架构

　　What is hive?　　Facebook，https://en.wikipedia.org/wiki/Apache_Hive

　　a> 一种工具，可以通过SQL轻松的访问数据，可以完成数据仓库任务，如ETL，报表及数据分析

　　b> 一种机制，增强多样化数据格式的结构

　　c> 数据访问，HDFS或者其他的数据存储系统（HBase）

　　d> 查询方式，类SQL的HiveQL

　　　　默认引擎为MapReduce，简单的Select * From..不会转换为MR任务

　　e> 快速查询引擎，MapReduce，Spark，Tez

　　f> 支持存储过程，通过HPL/SQL实现

　　　　HPL为apache的另外一个开源项目

　　g> LLAP（Live Long And Process），使Hive实现内存计算

　　　　将数据缓存到了多台服务器的内存中

2. Hive特性和支持的格式

　　Hive提供了标准的SQL函数，HiveQL可以扩展用户自定义函数

　　Hive提供内置的格式

　　　　a> 逗号和Tab字段分割的文本文件

　　　　b> Apache Parquet文件，https://parquet.apache.org/

　　　　c> Apache ORC文件，ORC：OptimizedRC File，RC：RecordColumnar File

　　　　d> 其他格式

3. 单用户模式（derby，in memory database），多用户模式（mysql，其他RDMS），远程模式（服务器端启动MetaStore Server，客户端通过Thrift协议访问）

4. 为什么会出现Hive

　　MR程序繁琐，使用HQL可以非常简单的实现任务

5. 环境搭建

　　要先具有：CentOS, Hadoop, MySQL

　　下载Hive，并放入虚拟机/opt下，https://mirrors.tuna.tsinghua.edu.cn/apache/hive/

　　tar zxf apache-hive-2.1.1-bin.tar.gz　　#解压

　　mv apache-hive-2.1.1-bin hive-2.1.1　　#重命名

　　cd /opt/hive-2.1.1/conf/　　#进入conf目录

　　cp hive-env.sh.template hive-env.sh　　#拷贝配置文件

　　cp hive-default.xml.template hive-site.xml　　#拷贝配置文件

　　vim /etc/profile　　#配置环境变量

　　source /etc/profile　　#应用环境变量

　　vim hive-env.sh　　#配置hive-env.sh

　　　　HADOOP_HOME=/opt/hadoop-2.7.3　　#设置HADOOP_HOME

　　/opt/hive-2.1.1/bin/schematool -dbType derby -initSchema　　#使用derby作为metastore，并初始化（message:Version information not found in metastore.错误解决方案）

　　vim hive-site.xml

　　　　${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D.错误解决方案　　　　

<property>
    <name>hive.exec.local.scratchdir</name>
    <value>/opt/hive-2.1.1/hivetmp/scratchdir/</value>
    <description>Local scratch space for Hive jobs</description>
</property>
<property>
    <name>hive.downloaded.resources.dir</name>
    <value>/opt/hive-2.1.1/hivetmp/resources</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
</property>

　　单用户模式（derby）检查：hive

　　同一时间，只允许一个用户打开Hive Session

　　Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.

　　Hive的元数据：表信息、字段属性、分区、列、表Owner等信息，存储于metastore_db

　　Hive的实际数据，存储于HDFS上

　　vim /opt/hive-2.1.1/conf/hive-site.xml

　　　　javax.jdo.option.ConnectionURL, javax.jdo.option.ConnectionDriverName, javax.jdo.option.ConnectionDriverName, javax.jdo.option.ConnectionPassword

<name>javax.jdo.option.ConnectionURL</name>
    <!--<value>jdbc:derby:;databaseName=/opt/hive-2.1.1/conf/metastore_db;create=true</value>-->
    <value>jdbc:mysql://bigdata.mysql:3306/hive?createDatabaseIfNotExist=true</value>
    <description>
      JDBC connect string for a JDBC metastore.
      To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
      For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
    </description>

<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <!--<value>org.apache.derby.jdbc.EmbeddedDriver</value>-->
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>

<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <!--<value>APP</value>-->
    <value>bigdata</value>
    <description>Username to use against metastore database</description>
  </property>

<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <!--<value>mine</value>-->
    <value>pas$w0rd</value>
    <description>password to use against metastore database</description>
  </property>

　　cp mysql-connector-java-5.1.41-bin.jar /opt/hive-2.1.1/lib/　　#copy jdbc到lib下，解决("com.mysql.jdbc.Driver") was not found.错误

　　/opt/hive-2.1.1/bin/schematool -dbType mysql -initSchema　　#初始化metaStore db，解决Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

　　多用户模式（mysql）测试：hive

6. Hive CLI

　　Hive Command Line Interface　　Hive命令行接口

usage: hive
 -d,--define <key=value>          Variable substitution to apply to Hive
                                  commands. e.g. -d A=B or --define A=B
 -e <quoted-query-string>         SQL from command line
 -f <filename>                    SQL from files
-H,--help                        Print help information
 -h <hostname>                    Connecting to Hive Server on remote host
    --hiveconf <property=value>   Use value for given property
    --hivevar <key=value>         Variable substitution to apply to hive
                                  commands. e.g. --hivevar A=B
 -i <filename>                    Initialization SQL file
 -p <port>                        Connecting to Hive Server on port number
-S,--silent                      Silent mode in interactive shell
-v,--verbose                     Verbose mode (echo executed SQL to the
                                  console)

　　设置配置属性的3中方式：1. hive CLI set property = value > 2. --hiveconf property = value > 3. hive-site.xml

　　hive> create database HelloHive;　　#创建数据库，数据库文件存放于Hadoop

　　hive> show databases;　　#显示所有数据库

　　hive> use HelloHive;　　#切换到HelloHive数据库

　　hive> create table T1(id int, name varchar(30));　　#创建表

　　hive> show tables;　　#显示所有表

　　hive> insert into t1(id,name) values(1,‘Niko‘),(2,‘Jim‘);　　#向T1表中插入数据

　　hive> select * from t1;　　#查询T1表

　　hive -d col=id --database HelloHive　　#启动Hive时，定义变量col等于id，并连接上HelloHive数据库

　　hive> select ${col},name from T1;　　#使用col代替id进行查询，输出结果为id列的内容

　　hive> select ‘${col}‘,name from T1;　　#${col}的值为id，所以输出结果为字符串“id”

　　hive> set mapred.reduce.tasks;　　#设置MR的任务数，不加参数输出当前任务数
　　　　[output] mapred.reduce.tasks=-1　　#Hive默认的MR任务数-1代表Hive会根据实际情况设置任务数

　　hive --hiveconf mapred.reduce.tasks=3　　#在启动Hive时指定MR任务数为3

　　hive> set mapred.reduce.tasks=5;　　#在Hive CLI中重新设定MR任务数为5

　　hive -e "select * from T1;" --database HelloHive;　　#使用-e将查询语句传入Hive并取回结果

　　vim t1.hql　　#创建t1.hql文件

　　　　use HelloHive;　　#文件中的SQL语句，每行必须要用;结尾
　　　　Select * From T1 Where id < 4;

　　hive -f t1.hql　　#使用hive只是文件中的SQL语句

　　hive -S -e "select count(1) from T1;" --database HelloHive;　　#-S会去掉不必要的信息，如MR的信息等不会被显示出来

7. Hive Shell

　　hive> quit;　　hive> exit;　　#退出interactive Hive Shell

　　hive> reset;　　#重置所有hive配置项，重置为hive-site.xml中的配置信息

　　hive> set XXX;　　hive> set XXX=Y;　　#设置或者显示配置项信息

　　hive> set -v;　　#显示所有Hadoop和Hive的配置项信息

　　hive> !ls;　　#在hive中执行Shell命令

　　hive> dfs -ls;　　#在hive中执行dfs命令

　　hive> add file t1.hql　　#添加t1.hql文件到分布式缓存

　　hive> list file;　　#显示所有当前的分布式缓存文件

　　hive> delete file t1.hql　　#删除指定的分布式缓存文件

8. Beeline

　　HiveServer2的CLI，一个JDBC客户端；

　　嵌入式模式，返回一个嵌入式的Hive，类似Hive CLI；（beeline）

　　远程模式，通过Thrift协议与某个单独的Hive Server2进程进行连接通信（使用代码连接HiveServer2）

　　HiveServer2的配置 hive-site.xml

　　　　Hive.Server2.thrift.min.worker.threads　　#最小工作线程数，默认5，最大500

　　　　Hive.Server2.thrift.Port　　#TCP监听端口，默认是10000

　　　　Hive.Server2.thrift.bind.host　　#TCP绑定主机，默认是localhost

　　　　Hive.Server2.thrift.transport.mode　　#默认TCP，可选择HTTP

　　　　Hive.Server2.thrift.http.port　　#HTTP的监听端口，默认值为10001

　　启动HiveServer2

　　　　hive -service hiveserver2

　　　　hiveserver2

　　启动Beeline　

　　　　hive -service beeline

　　　　beeline

　　查看服务是否启动：ps -ef | grep hive

　　cp /opt/hive-2.1.1/jdbc/hive-jdbc-2.1.1-standalone.jar /opt/hive-2.1.1/lib/　　#解决hive-jdbc-*-standalone.jar:No such file or directory文件

　　beeline　　#启动beeline

　　beeline> !connect jdbc:hive2://localhost:10000/HelloHive　　#使用beeline连接Hive数据库

　　　　Enter username for jdbc:hive2://localhost:10000/HelloHive: root

　　　　Enter password for jdbc:hive2://localhost:10000/HelloHive: ********

　　Error: Could not open client transport with JDBC Uri: jdbc:hive2://localhost:10000/HelloHive: Failed to open new session: java.lang.RuntimeException org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: root is not allowed to impersonate root (state=08S01,code=0)

　　解决方案：

　　　　kill -9 15544　　#关闭hiveserver2进程

　　　　/opt/hadoop-2.7.3/sbin/stop-all.sh　　#停止Hadoop集群

　　　　vim /opt/hadoop-2.7.3/etc/hadoop/core-site.xml　　#配置hadoop的core-site，增加下面2个配置项。表示root用户可以代理所有主机上的所有用户

<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>

  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>

　　　　scp /opt/hadoop-2.7.3/etc/hadoop/core-site.xml [email protected]:/opt/hadoop-2.7.3/etc/hadoop/　　#将core-site.xml文件分发到Hadoop集群的所有slave上

　　　　scp /opt/hadoop-2.7.3/etc/hadoop/core-site.xml [email protected]:/opt/hadoop-2.7.3/etc/hadoop/

　　　　scp /opt/hadoop-2.7.3/etc/hadoop/core-site.xml [email protected]:/opt/hadoop-2.7.3/etc/hadoop/

　　　　/opt/hadoop-2.7.3/sbin/start-all.sh　　#启动Hadoop集群

　　　　hiveserver2　　#启动Hive Server2

　　　　beeline　　#启动beeline

　　　　beeline> !connect jdbc:hive2://localhost:10000/HelloHive　　#连接Hive数据库 => 输入用户名，密码

　　　　17/03/07 14:01:55 [main]: WARN jdbc.HiveConnection: Request to set autoCommit to false; Hive does not support autoCommit=false.
Transaction isolation: TRANSACTION_REPEATABLE_READ　　#警告

　　　　0: jdbc:hive2://localhost:10000/HelloHive> set autoCommit=false;　　#beeline启动成功；设置autoCommit为false
　　　　　　[output]No rows affected (0.286 seconds)　　#设置成功

　　　　0: jdbc:hive2://localhost:10000/HelloHive> show tables;　　#显示表

　　　　0: jdbc:hive2://localhost:10000/HelloHive> select * from t1;　　#查询表

　　　　0: jdbc:hive2://localhost:10000/HelloHive> !quit　　#退出beeline

9. Hive数据类型

　　数值型：

　　　　TINYINT，1字节，-128 ~ 127，如：1　　Postfix：Y　　100Y

　　　　SMALLINT，2字节，-32768 ~ 32767，如：1　　Postfix：S　　100S

　　　　INT/INTEGER，4字节，-2,147,483,648 ~ 2,147,483,647，如：1

　　　　BIGINT，8字节，如：1　　Postfix：L　　100L

　　　　FLOAT，4字节单精度，如：1.0　　默认为double，在数值后面加上F代表Float。

　　　　DOUBLE，8字节双精度，（Hive 2.2.0开始引入DOUBLE PRECISION），如：1.0　　FOLAT和DOUBLE都不支持科学计数法

　　　　DECIMAL，38位小数精度，（HIVE 0.11.0开始引入），支持科学/非科学计数法；默认为小数点后1位，或者指定小数点后位数decimal(10,2)

　　日期时间型：

　　　　TIMESTAMP，0.8.0开始引入，如：2017-03-07 14:00:00；支持传统Unix时间戳，精确到纳秒级。

　　　　DATE，0.12.0开始引入，0001-01-01 ~ 9999-12-31，如：2017-03-07

　　字符：

　　　　STRING，用单引号或者双引号引起来的字符串

　　　　VARCHAR，0.12.0引入，字符数量1 ~ 65535

　　　　CHAR，0.13.0引入，固定长度，长度最大支持到255

　　Misc

　　　　BOOLEAN，布尔型，TRUE和FALSE

　　　　BINARY，0.8.0引入，二进制类型

　　数组

　　　　ARRAY<TYPE>，如ARRAY<INT>，元素访问下标由0开始

　　映射

　　　　MAP<PRIMITIVE_TYPE,DATA_TYPE>，如MAP<STRING,INT>

　　结构体

　　　　STRUCT<COL_NAME:DATA_TYPE,...>，如STRUCT<a:STRING,b:INT,c:DOUBLE>

　　联合体

　　　　UNIONTYPE<DATA_TYPE,DATA_TYPE,...>，如UNIONTYPE<STRING,INT,DOUBLE...>

CREATE TABLE complex(
    col1 ARRAY<INT>,
    col2 MAP<STRING,INT>,
    col3 STRUCT<a:STRING,b:INT,c:DOUBLE>,
    col4 UNIONTYPR<STRING,INT,STRUCT,MAP,ARRAY,...>
)

col1 = Array(‘Hadoop‘,‘spark‘,‘hive‘,‘hbase‘,‘sqoop‘)
col1[1] = ‘spark‘

col2 = MAP(1:hadoop,2:sqoop,3:hive)
col2[1] = hadoop

col3 = STRUCT(a:5,b:‘five‘)
col3.b = ‘five‘

10. Hive表基本操作及概念

　　内表（Managed Table），其数据文件、元数据及统计信息全部由Hive进程自身管理。内表的数据存储是有hive.metastroe.warehouse.dir指定的路径下。

　　外表（External Table），通过元信息或者Schema描述外部文件的结构，外表可以被Hive之外的进程访问和管理，如HDFS。

　　hive> desc formatted t1;　　#查看表的信息；Table Type显示Managed Table或者External Table

　　hive> create external table t2(id int,name string);　　#创建外表

　　hive> desc t1;　　#查看表的字段及字段类型信息

11. Hive数据文件存储格式

　　STORED AS TEXTFILE，默认的文件格式（除非特别用hive.default.fileformat指定，在hive-site.xml中设定）

　　STORED AS SEQUENCEFILE，已压缩的序列化文件

　　STORED AS ORC，存储ORC格式的文件，支持ACID事务操作及CBO（Cost_based Optimizer）

　　STORED AS PARQURT，存储Parquet文件

　　STORED AS AVRO，存储AVRO格式文件

　　STORED AS RCFILE，存储RC（Record Columnar）格式的文件

　　STORED BY，由非内置的表格式存储，例如HBase/Druid/Accumulo存储数据

　　创建表

　　hive> create external table users(
    > id int comment ‘id of user‘,
    > name string comment ‘name of user‘,
    > city varchar(30) comment ‘city of user‘,
    > industry varchar(20) comment ‘industry of user‘)
    > comment ‘external table, users‘
    > row format delimited　　#使用分隔符形式，下面描述了3种序列化的形式
    > fields terminated by ‘,‘
    > stored as textfile
    > location ‘/user/hive/warehouse/hellohive.db/users/‘;

　　row format内置类型：Regex（正则表达式），JSON，CSV/TSV

　　row format serde ‘org.apache.hive.hcatalog.data.JsonSerDe‘ stored as textfile

　　row format serde ‘org.apache.hive.serde2.RegexSerDe‘ with serdeproperties ("input.regex"="<regex>") stored as textfile

　　row format serde ‘org.apache.hadoop.hive.serde2.OpenCSVSerDe‘ stored as textfile

　　或者使用hive -f的方式创建表

vim t_users_ext.hql

create external table users(
id int,
name string,
city varchar(30),
industry varchar(20))
row format delimited
fields terminated by ‘,‘
stored as textfile
location ‘/user/hive/warehouse/hellohive.db/users‘;

insert into users(id,name,city,industry)
values(1,‘Niko‘,‘Shanghai‘,‘Bigdata‘),
(2,‘Eric‘,‘Beijing‘,‘NAV‘),
(3,‘Jim‘,‘Guangzhou‘,‘IT‘);

hive -f t_users_ext.hql --database hellohive

12. Hive表

　　分区表 Partition Table

　　在Hive Select查询中，一般会扫描这个表的内容（HDFS某个目录下的所有文件），会消耗很多时间

　　分区表创建时，指定partition的分区空间，分区粒度 > 桶粒度

　　语法： partition by (par_col par_type)

　　静态分区：如按照年-月进行分区　　#set hive.exec.dynamic.partition;

　　动态分区：如按照产品类别进行分区，产品类别会有新增　　#默认为动态分区，如果设置动态分区为false，则不能创建动态分区

　　　　动态分区模式：set hive.exec.dynamic.partition.mode = strict/nonstrict　　#默认模式为严格（strict），在strict模式下，动态分区表必须有一个字段为静态分区字段

　　采用分区后，每个分区值都会形成一个具体的分区目录

　　桶表 Bucketed Sorted Table

　　倾斜表 Skewed Table

　　　　通过将倾斜特别严重的列分开存储为不同的文件，每个倾斜值指定为一个目录或者文件，在查询的时候，可以根据过滤条件来避免全表扫描的费时操作

　　　　Skewed by (field) on (value)

　　临时表 Temporary Table

　　　　只在当前会话中可见的表为临时表，临时表所在的hdfs目录为tmp目录

　　DROP TABLE [IF EXISTS] TABLE_NAME [PURGE];　　#对于内表，使用PURGE，元数据和表数据一起删除，不进入垃圾箱。对于外表，只删除元数据