Hive安装与配置详解

既然是详解，那么我们就不能只知道怎么安装hive了，下面从hive的基本说起，如果你了解了，那么请直接移步安装与配置

hive是什么

hive安装和配置

hive的测试

hive

　　这里简单说明一下，好对大家配置hive有点帮助。hive是建立在hadoop上的，当然，你如果只搭建hive也没用什么错。说简单一点，hadoop中的mapreduce调用如果面向DBA的时候，那么问题也就显现了，因为不是每个DBA都能明白mapreduce的工作原理，如果为了管理数据而需要学习一门新的技术，从现实生活中来说，公司又需要花钱请更有技术的人来了。

　　开个玩笑，hadoop是为了存储数据和计算而推广的技术，而和数据挂钩的也就属于数据库的领域了，所以hadoop和DBA挂钩也就是情理之中的事情，在这个基础之上，我们就需要为了DBA创作适合的技术。

　　hive正是实现了这个，hive是要类SQL语句（HiveQL）来实现对hadoop下的数据管理。hive属于数据仓库的范畴，那么，数据库和数据仓库到底有什么区别了，这里简单说明一下：数据库侧重于OLTP（在线事务处理），数据仓库侧重OLAP（在线分析处理）；也就是说，例如mysql类的数据库更侧重于短时间内的数据处理，反之。

无hive：使用者.....->mapreduce...->hadoop数据（可能需要会mapreduce）

有hive：使用者...->HQL（SQL）->hive...->mapreduce...->hadoop数据（只需要会SQL语句）

hive安装和配置

安装

一：下载hive——地址：http://mirror.bit.edu.cn/apache/hive/

这里以hive-2.1.1为例子，如图：

将hive解压到/usr/local下：

[[email protected] local]# tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/local/

将文件重命名为hive文件：

[[email protected] local]# mv apache-hive-2.1.1-bin hive

修改环境变量/etc/profile：

[[email protected] local]# vim /etc/profile
1 #hive
2 export HIVE_HOME=/usr/local/hive
3 export PATH=$PATH:$HIVE_HOME/bin

执行source /etc.profile：

执行hive --version

[[email protected] local]# hive --version

有hive的版本显现，安装成功！

配置

[[email protected] conf]# cd /usr/local/hive/conf/

修改hive-site.xml：

这里没有，我们就以模板复制一个：

[[email protected] conf]# cp hive-default.xml.template hive-site.xml
[[email protected] conf]# vim hive-site.xml

1.配置hive-site.xml（第5点的后面有一个单独的hive-site.xml配置文件，这个如果有疑问可以用后面的配置文件，更容易明白）

主要是mysql的连接信息（在文本的最开始位置）

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!--
   Licensed to the Apache Software Foundation (ASF) under one or more
   contributor license agreements.  See the NOTICE file distributed with
   this work for additional information regarding copyright ownership.
   The ASF licenses this file to You under the Apache License, Version 2.0
   (the "License"); you may not use this file except in compliance with
   the License.  You may obtain a copy of the License at

       http://www.apache.org/licenses/LICENSE-2.0

   Unless required by applicable law or agreed to in writing, software
   distributed under the License is distributed on an "AS IS" BASIS,
   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
   See the License for the specific language governing permissions and
   limitations under the License.
--><configuration>
  <!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->
  <!-- WARNING!!! Any changes you make to this file will be ignored by Hive.   -->
  <!-- WARNING!!! You must make your changes in hive-site.xml instead.         -->
  <!-- Hive Execution Parameters -->

        <!-- 插入一下代码 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>用户名（这4是新添加的，记住删除配置文件原有的哦！）
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>密码
        <value>123456</value>
    </property>
   <property>
        <name>javax.jdo.option.ConnectionURL</name>mysql
        <value>jdbc:mysql://192.168.1.68:3306/hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>mysql驱动程序
        <value>com.mysql.jdbc.Driver</value>
    </property>
        <!-- 到此结束代码 -->

  <property>
    <name>hive.exec.script.wrapper</name>
    <value/>
    <description/>
  </property>

2.复制mysql的驱动程序到hive/lib下面（这里已经拷贝好了）

[[email protected] lib]# ll mysql-connector-java-5.1.18-bin.jar
-rw-r--r-- 1 root root 789885 1月   4 01:43 mysql-connector-java-5.1.18-bin.jar

3.在mysql中hive的schema（在此之前需要创建mysql下的hive数据库）

1 [[email protected] bin]# pwd
2 /usr/local/hive/bin
3 [[email protected] bin]# schematool -dbType mysql -initSchema

4.执行hive命令

[[email protected] hive]# hive

成功进入hive界面，hive配置完成

5.查询mysql（hive这个库是在 schematool -dbType mysql -initSchema 之前创建的！）

 1 [[email protected] ~]# mysql -uroot -p123456
 2 Welcome to the MySQL monitor.  Commands end with ; or \g.
 3 Your MySQL connection id is 10
 4 Server version: 5.1.73 Source distribution
 5
 6 Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.
 7
 8 Oracle is a registered trademark of Oracle Corporation and/or its
 9 affiliates. Other names may be trademarks of their respective
10 owners.
11
12 Type ‘help;‘ or ‘\h‘ for help. Type ‘\c‘ to clear the current input statement.
13
14 mysql> use hive
15 Reading table information for completion of table and column names
16 You can turn off this feature to get a quicker startup with -A
17
18 Database changed
19 mysql> show tables;
20 +---------------------------+
21 | Tables_in_hive            |
22 +---------------------------+
23 | AUX_TABLE                 |
24 | BUCKETING_COLS            |
25 | CDS                       |
26 | COLUMNS_V2                |
27 | COMPACTION_QUEUE          |
28 | COMPLETED_COMPACTIONS     |
备注 （这里不计入正文不要重复配置hive-site.xml）

配置文件hive-site.xml

这里不得不说一下，如果你的 schematool -dbType mysql -initSchema 并没有执行成功怎么办，小博主昨天在这卡了一天，最后根据伟大的百度和hive官方文档，直接写了一个hive-site.xml配置文本：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://localhost:3306/hahive</value>（mysql地址localhost）
        </property>

        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>（mysql的驱动）
                <value>com.mysql.jdbc.Driver</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionUserName</name>（用户名）
                <value>root</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionPassword</name>（密码）
                <value>123456</value>
        </property>

        <property>
                <name>hive.metastore.schema.verification</name>
                <value>false</value>
        </property>
</configuration>

那我们做这些事干什么的呢，下面小段测试大家感受一下

hive测试：

备注：这里是第二个配置文件的演示：所以数据库名称是hahive数据库！

1.需要知道现在的hadoop中的HDFS存了什么

[[email protected] conf]# hadoop fs -lsr /

2.进入hive并创建一个测试库和测试表

[[email protected] conf]# hive

创建库：

1 hive> create database hive_1;
2 OK
3 Time taken: 1.432 seconds

显示库：

1 hive> show databases;
2 OK
3 default
4 hive_1
5 Time taken: 1.25 seconds, Fetched: 2 row(s)

创建库成功！

3.查询一下HDFS有什么变化

多了一个库hive_1

娜莫喔们的mysql下的hahive库有什么变化

mysql> use hahive;
mysql> select * from DBS;
+-------+-----------------------+------------------------------------------------+---------+------------+------------+
| DB_ID | DESC                  | DB_LOCATION_URI                                | NAME    | OWNER_NAME | OWNER_TYPE |
+-------+-----------------------+------------------------------------------------+---------+------------+------------+
|     1 | Default Hive database | hdfs://localhost/user/hive/warehouse           | default | public     | ROLE       |
|     6 | NULL                  | hdfs://localhost/user/hive/warehouse/hive_1.db | hive_1  | root       | USER       |
+-------+-----------------------+------------------------------------------------+---------+------------+------------+
2 rows in set (0.00 sec)

4.在hive_1下创建一个表student

hive> use hive_1;
OK
Time taken: 0.754 seconds
hive> create table hive_01 (id int,name string);
OK
Time taken: 2.447 seconds
hive> show tables;
OK
hive_01 （表创建成功）
Time taken: 0.31 seconds, Fetched: 2 row(s)
hive>

HDFS下的情况：

mysql下：

mysql> select * from TBLS;
+--------+-------------+-------+------------------+-------+-----------+-------+----------+---------------+--------------------+--------------------+
| TBL_ID | CREATE_TIME | DB_ID | LAST_ACCESS_TIME | OWNER | RETENTION | SD_ID | TBL_NAME | TBL_TYPE      | VIEW_EXPANDED_TEXT | VIEW_ORIGINAL_TEXT |
+--------+-------------+-------+------------------+-------+-----------+-------+----------+---------------+--------------------+--------------------+
|      6 |  1514286051 |     6 |                0 | root  |         0 |     6 | hive_01  | MANAGED_TABLE | NULL               | NULL               |
+--------+-------------+-------+------------------+-------+-----------+-------+----------+---------------+--------------------+--------------------+
2 rows in set (0.00 sec)

娜莫在web端是什么样子的呢！

总的来说，hive其实就和mysql差不多呢！那么后面就不说了

最后，浏览别人博客的时候都会有版权声明，感觉好6的样子，小博主以后也写一段╭(╯^╰)╮


版权声明：

本文作者：魁·帝小仙

博文地址：http://www.cnblogs.com/dxxblog/p/8193967.html

欢迎对小博主的博文内容批评指点，如果问题，可评论或邮件联系（[email protected]）

欢迎转载，转载请在文章页面明显位置给出原文链接，谢谢

原文地址：https://www.cnblogs.com/dxxblog/p/8193967.html

时间： 2024-07-31 06:30:58

Hive安装与配置详解的相关文章

varnish安装及配置详解

varnish系统架构: varnish主要运行两个进程:Management进程和Child进程(也叫Cache进程). Management进程主要实现应用新的配置.编译VCL.监控varnish.初始化varnish以及提供一个命令行接口等.Management进程会每隔几秒钟探测一下Child进程以判断其是否正常运行,如果在指定的时长内未得到Child进程的回应,Management将会重启此Child进程. Child进程包含多种类型的线程,常见的如:Acceptor线程:接收新的连接

libCURL开源库在VS2010环境下编译安装，配置详解

libCURL开源库在VS2010环境下编译安装,配置详解 转自:http://my.oschina.net/u/1420791/blog/198247 CURL开源库VS2010环境下编译安装,配置详解 一 准备 1.1 CURL官网下载地址:http://curl.haxx.se/download.html 1.2 找到源码包,我这里下载的是7.32.0版:http://curl.haxx.se/download/curl-7.32.0.zip 二 步骤 2.1 打开curl-7.32.0\

Weblogic12c安装与配置详解

Weblogic是什么Weblogic的安装Weblogic创建域Weblogic管理域Weblogic的应用Weblogic是什么 Weblogic这是我入职以后第一次接触到的词汇,我很陌生,就从我的角度来讲,我需要知道Weblogic是什么.干吗用的,然后才继续深入的学习怎么使用它.WebLogic是美商Oracle的主要产品之一,系购并得来.是商业市场上主要的Java(J2EE)应用服务器软件(application server)之一,是世界上第一个成功商业化的J2EE应用服务器, 目前

DenyHosts 安装及配置详解

http://moo1985.blog.51cto.com/401365/290662 http://www.lllusion.com/?p=437 DenyHosts是Python语言写的一个程序,它会分析sshd的日志文件(/var/log/secure),当发现重 复的攻击时就会记录IP到/etc/hosts.deny文件,从而达到自动屏IP的功能. 下面进入主题. 1.安装脚本 要求安装服务器能上网,并建立 /workspace目录 ###########################

vsftpd2.3.2安装、配置详解

一.vsftpd 简介     Vsftpd是一个基于GPL发布的类UNIX系统的ftp服务器软件.其全称是Very Secure FTP Deamon,在安全性.速度和稳定性都有着不俗的表现.在安全性方面,vsftpd针对程序的权限来设计,以一般身份启动服务,对Linux系统的使用 权限较低:在千兆以太网上,vsftpd的速度可以达到86MB/s:在稳定性上更是优秀,资料表明,完全工作24小时,传输数据达2.6TB,平均并发 连接为1500用户,峰值达4000用户,而这些还是在单机上实现的.此

MySQL5.6 数据库主从同步安装与配置详解（Master/Slave）

MySQL5.6 数据库主从同步安装与配置详解(Master/Slave)本篇文章主要介绍了MySQL5.6 数据库主从同步安装与配置详解,具有一定的参考价值,有兴趣的可以了解一下.安装环境 操作系统 :CentOS 6.5 数据库版本:MySQL 5.6.27 主机A:192.168.1.1 (Master) 主机B:192.168.1.2 (Slave) 这里强调的数据库的版本,是因为MySQL在5.6之前和之后的安装方式是不一样的. 本人在进行配置的时候,也遇到了这个坑,这里提前说明,希望

持续集成(CI)工具------Hudson(Continuous Integration)安装与配置详解

本文允许转载,但请标明出处:http://blog.csdn.net/wanghantong/article/, 版权所有 文章概述: 一. 描述了持续集成工具Hudson的安装与配置 二. 描述了Git .Maven环境的安装与配置 三. 描述了扩展邮件通知及其配置方法 四. 描述了jira的配置 一.Hudson简介 Hudson是Jenkins的前身,是基于Java开发的一种持续集成工具,用于监控持续的软件版本发布/测试项目 下载地址:http://eclipse.org/download

OpenVPN CentOS7 安装部署配置详解

一 .概念相关 1.vpn 介绍 vpn 虚拟专用网络,是依靠isp和其他的nsp,在公共网络中建立专用的数据通信网络的技术.在vpn中任意两点之间的链接并没有传统的专网所需的端到端的物理链路,而是利用公共网络资源动态组成的,可以理解为通过私有的隧道技术在公共数据网络上模拟出来的和专网有相同功能的点到点的专线技术,所谓虚拟是指不需要去拉实际的长途物理线路,而是借用公共的Internet网络实现. 2.vpn 作用 vpn可以帮助公司用的远程用户(出差,家里)公司的分之机构.商业合作伙伴及供应商等

nginx:2、ngnix安装及配置详解

大纲 一.前言 二.Nginx 安装与配置 三.Nginx 配置文件详解 四.Nginx 命令参数 五.配置Nginx提供Web服务 六.配置Nginx的虚拟主机 七.配置Nginx的用户认证 八.配置Nginx提供状态页面 九.配置Nginx的错误页面 十.配置Nginx打开目录浏览功能 十一.配置Nginx基于ssl提供https服务 一.前言 在上一篇博文中我们讲解了I/O模型.Web服务器的工作原理及Nginx的基本特性,我们知道Nginx有两个基本功能,一个是作为Web服务器(在这篇博