HIVE部署安装(笔记)

1、下载hive:wget http://mirrors.cnnic.cn/apache/hive/hive-0.12.0/hive-0.12.0.tar.gz
2、解压hive安装文件 tar -zvxf hive-0.12.0.tar.gz
3、配置hive环境变量,初始化hive在hdfs上的工作目录(因此在部署hive之前,请确保已经完整的部署了hadoop,并设置好相关的环境,hadoop版本是2.2.0,才和此hive版本相符)
 vi /etc/profile 添加环境变量值
  export HIVE_HOME=/home/likehua/hive/hive-0.12.0
 export PATH = $HIVE_HOME/bin:$PATH
 source /etc/profile 使修改的环境变量立即生效

初始化hadoop 环境变量
 ./hadoop fs -mkdir /tmp
 ./hadoop fs -mkdir /usr/hive/warehouse
 ./hadoop fs -chmod g+w /tmp
 ./hadoop fs -chmod g+w /usr/hive/warehouse

配置hive相关的配置文件:/home/likehua/hive/hive-0.12.0/conf
 讲hive-default.xml.template改为hive-site.xml
 hive-log4j.properties.template改为hive-log4j.properties
 hive-exec-log4j.properties.template改为hive-exec-log4j.properties

执行命令:cd $HIVE_HOME/bin   ./hive
 默认将会进入hive的控制台,执行:show tables;如果不出错,则表明默认版本的hive安装成功(其实会报错,是一个xml的错误,没有想到hive的发布版,xml居然也会有错误,汗!xml的开始标签和结束标签要
 一致,根据错误信息,将auth标签改为value,ok)。
 为什么称为默认版本,我给它起的,因为hive的metastore默认保存在一个叫derby的数据库的,该
 数据库是一个嵌入式数据库,如果同时有两个人或者多个人操作,就会报错。下面介绍,如果将hive的metasotre
 信息保存到关系型数据库中,本文以oracle为例,具体步骤如下:
 1)、下载oracle jdbc驱动 ojdbc6.jar,放到$HIVE_HOME/lib文件夹下,如果不存在lib则创建。
 2)、修改$HIVE_HOME/conf下配置文件hive-site.xml。主要修改:连接字符串、驱动、用户名、密码等几处。
 具体参数有:
 连接字符串
 <property>
   <name>javax.jdo.option.ConnectionURL</name>
   <value>jdbc:oracle:thin:@192.98.12.60:1521/ORCL</value>
   <description>[jdbc:thin:db11gx64.geoway.net/db11g]JDBC connect string for a JDBC metastore</description>
  </property>
  数据库jdbc驱动
  <property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>oracle.jdbc.driver.OracleDriver</value>
   <description>Driver class name for a JDBC metastore</description>
  </property>
  用户名
  <property>
   <name>javax.jdo.option.ConnectionUserName</name>
  <value>portal</value>
  <description>username to use against metastore database</description>
  </property>
  密码
  <property>
   <name>javax.jdo.option.ConnectionPassword</name>
   <value>portal</value>
  <description>password to use against metastore database</description>
   </property>
   3)、将上面几处修改以后,在目录$HIVE_HOME/bin下执行./hive 命令进入控制台,执行show talbes;如果不报错,则
   表名部署成功,如果失败,则需要在日志文件中定位错误信息(在linux中部署程序,如果没有日志信息,那是很悲剧的。记得上面有修改配置文件的步骤
   hive-log4j.properties中,会记录日志的存放路径,默认路径:hive.log.dir=/tmp/${user.name}下面的hive.log文件里,${usr.name}表示
   登录的用户名。加入,登录用户为root,那么它的log日志访问路径为:/tmp/root/hive.log.)
       日志文件中的错误主要有以下几类:a、数据库驱动不存在。b、数据库连接参数错误。c、表或则视图不存在。
    第三种情况较多,因为当你修改默认的metastore存储方式时,在新的数据库中,很多元信息是没有初始化的。需要我们手动在目标数据库中初始化。有关
    初始化脚本存放在$HIVE_HOME/scripts/metastore/upgrade目录下,在该目录中默认会有derby、mysql、oracle、postgres几类数据库的初始化或者更新脚本。
    由于笔者使用oracle数据库,所以就进入$HIVE_HOME/scripts/metastore/upgrade/oracle目录,进去之后,你会发现有很多sql脚本,真是一团糟,不知道怎么更新
    或者初始化怎么办,教你一个土方法,那就是都执行一遍,然后来回启动hive,查看日志解决问题,最终会把问题解决的,但是,实际上有些规律的,找到
    010-HIVE-3072.oracle.sql、011-HIVE-3649.oracle.sql、012-HIVE-1362.oracle.sql、013-HIVE-3255.oracle.sql、014-HIVE-3764.oracle.sql这四个脚本依次执行
    ,由于我的hive的版本是hive-0.12.0,那么我再执行hive-schema-0.12.0.oracle.sql脚本,然后再进入hive shell执行,show tables;如果没有报错,那说明一切ok,
    如果还有错误,那么根据日志的错误信息,在网上搜索找到解决方案。

4)、另外一种方式来初始化hive在关系型数据库上的metastore的初始化,但是我一直没有初始化成功,那就是配置好hive以后执行命令 ./hive --service metastore,
    此问题以后研究。

HIVE部署安装(笔记)

时间: 2024-10-10 03:20:38

HIVE部署安装(笔记)的相关文章

Hadoop 2.2.0部署安装(笔记,单机安装)

SSH无密安装与配置 具体配置步骤: ◎ 在root根目录下创建.ssh目录 (必须root用户登录) cd /root & mkdir .ssh chmod 700 .ssh & cd .ssh ◎ 创建密码为空的 RSA 密钥对: ssh-keygen -t rsa -P "" ◎ 在提示的对称密钥名称中输入 id_rsa将公钥添加至 authorized_keys 中: cat id_rsa.pub >> authorized_keys chmod 6

Hive的安装部署全过程详细版

首先先简单介绍下hive: Hive是一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映射成一张数据表,并可以使用类似SQL的方式来对数据文件进行读写以及管理.这套Hive SQL 简称HQL.Hive的执行引擎可以是MR.Spark.Tez. 核心架构:   Hive官网地址 http://hive.apache.org/ 下载地址 http://archive.apache.org/dist/hive/ hive的安装部署 Hive常用的安装分三种 (注意:Hive会自动监测Had

OpenVPN学习笔记——部署安装

上一篇介绍了OpenVPN部署前的环境准备,下面开始具体的部署安装. mkdir -p /opt/tools cd /opt/tools/ wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.03.tar.gz yum install openssl openssl-devel gcc -y # 因为openvpn依赖于openssl,所以这里需要安装openssl和openssl-devel [[email protected

HIve体系结构,hive的安装和mysql的安装,以及hive的一些简单使用

Hive体系结构: 是建立在hadoop之上的数据仓库基础架构. 和数据库相似,只不过数据库侧重于一些事务性的一些操作,比如修改,删除,查询,在数据库这块发生的比较多.数据仓库主要侧重于查询.对于相同的数据量在数据库中查询就比较慢一些,在数据仓库中查询的效率就比较快. 数据仓库是面向于查询的,并且处理的数据量要远远高于数据库处理的数据量. 传统的数据仓库产品,依然有数据存储的瓶颈,那么在这个瓶颈下查询的速度慢了,那么就不适用了,我们的hadoop是处理海量数据的,所以我们可以在上面建立数据仓库.

《Programming Hive》读书笔记(一)Hadoop和hive环境搭建

<Programming Hive>读书笔记(一)Hadoop和Hive环境搭建 先把基本的技术和工具学好,才能更高效地思考和工作. Chapter 1.Introduction 简介 Chapter 2.Getting Started 环境配置 Hadoop版本会更新,以官方安装教程为准 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_O

_00024 尼娜抹微笑伊拉克_云计算ClouderaManager以及CHD5.1.0群集部署安装文档V1.0

笔者博文:妳那伊抹微笑 itdog8 地址链接 : http://www.itdog8.com(个人链接) 博客地址:http://blog.csdn.net/u012185296 博文标题:_00024 妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0 个性签名:世界上最遥远的距离不是天涯,也不是海角.而是我站在妳的面前.妳却感觉不到我的存在 技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahou

Hadoop1.0.4+Hbase0.94.2+Hive0.9.0 分布式部署安装

因为个人太懒,所以很多配图没有上传,完整的部署安装教程另外备份了.这里记录一下防止文档丢了   Hadoop1.0.4+Hbase0.94.2+Hive0.9.0 分布式部署安装 目录 1 服务器配置 2 Hadoop安装 3 Hbase安装 4 Hive安装 版本控制信息 版本 日期 拟稿和修改 说明 1.0 2012-11-27 Yoan.Liang 报文标准初稿(内部版本:1000) 1       服务器配置 1.1    下载安装JDK 1.2    修改NameNode与DataNo

_00024 妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0

博文作者:妳那伊抹微笑 博客地址:http://blog.csdn.net/u012185296 博文标题:_00024 妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0 个性签名:世界上最遥远的距离不是天涯,也不是海角,而是我站在妳的面前,妳却感觉不到我的存在 技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spark ... 云计算技术 转载声明:可以转载, 但必须以超链接形式标明文章

docker在ubuntu14.04下的安装笔记

本文主要是参考官网教程进行ubuntu14.04的安装. 下面是我的安装笔记. 笔记原件完整下载: 链接: https://pan.baidu.com/s/1c1CZZCs 密码: qk1x