Hive- Hive安装

Hive安装

1.1下载Hive安装包

官网:http://hive.apache.org/downloads.html

个人建议到这里下载:http://apache.forsale.plus/

1.2将hive文件上传到HADOOP集群,并解压

将文件上传到 /usr ,解压

tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/  

重命名: mv /usr/apache-hive-1.2.1-bin /usr/hive

1.3配置环境变量

编辑/ect/profile

#set hive env
export HIVE_HOME=/export/servers/hive
export PATH=${HIVE_HOME}/bin:$PATH

#让环境变量生效
source /etc/profile

1.4修改hive配置文件hive/conf/

进入配置文件的目录

cd /usr/hive/conf/

修改hive-env.sh文件

cp hive-env.sh.template hive-env.sh

将以下内容写入到hive-env.sh文件中
export JAVA_HOME=/export/servers/jdk
export HADOOP_HOME=/export/servers/hadoop
export HIVE_HOME=/export/servers/hive

修改log4j文件

cp hive-log4j.properties.template hive-log4j.properties

将EventCounter修改成org.apache.hadoop.log.metrics.EventCounter
#log4j.appender.EventCounter=org.apache.hadoop.hive.shims.HiveEventCounter
log4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter

1.5配置远程登陆模式

创建hive-site.xml文件

touch hive-site.xml

将以下信息写入到hive-site.xml文件中

<configuration>
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/usr/hive-1.2.2/warehouse</value>
  </property>  <property>
       <name>javax.jdo.option.ConnectionURL</name>
       <value>jdbc:mysql://hadoop02:3306/hivedb?createDatabaseIfNotExist=true</value>    //红色字体为你的hive主机名
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
  </property>
</configuration>

1.6安装MySQL并配置数据库及权限

安装MySQL数据库及客户端

yum install mysql-server
yum install mysql
service mysqld start               //开启服务

修改MySQL的root用户的密码:

# mysql -u root mysql
mysql>use mysql;
mysql>desc user;
mysql> GRANT ALL PRIVILEGES ON *.* TO root@"%" IDENTIFIED BY "root";  //为root添加远程连接的能力。
mysql>update user set Password = password(‘xxxxxx‘) where User=‘root‘;
mysql>select Host,User,Password  from user where User=‘root‘;
mysql>flush privileges;
mysql>exit;

重新登陆: mysql -u root -p 检查是否安装完成。

把mysql-connector-java-5.1.28.jar下载放到hive的lib目录

执行 schematool -dbType mysql –initSchema

1.7启动

启动hive之前先启动HA集群

运行hive命令即可启动hive

1.8测试

show databases;

1.9参考官网

https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

二.HIVE安装报错解决方案

1、如果报错Terminal initialization failed; falling back to unsupported

将/export/servers/hive/lib 里面的jline2.12替换了hadoop 中/export/servers/hadoop/hadoop-2.6.1/share/hadoop/yarn/lib/jline-0.09*.jar

这个问题的报错是因为你在执行apache-hive-1.2.2-bin版本的时候,抛出的异常,解决方案是把该hive版本的lib下面的jline-2.12.jar拷贝到/usr/hadoop/share/hdoop/yarn/lib里面,然后把yarn里面的lib的jlne-0.09.jar包给改个名字即可。

重新启动hive即可。

2、登录SQL权限问题

GRANT ALL PRIVILEGES ON *.* TO ‘root‘@‘%‘ IDENTIFIED BY ‘密码‘ WITH GRANT OPTION;

flush privileges;

3、 java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient

解决方案:

schemaTool–dbType mysql -initSchema

时间: 2024-10-08 13:11:18

Hive- Hive安装的相关文章

HIve的安装和使用

1.Hive1.1 在hadoop生态圈中属于数据仓库的角色.他能够管理hadoop中的数据,同时可以查询hadoop中的数据. 本质上讲,hive是一个SQL解析引擎.Hive可以把SQL查询转换为MapReduce中的job来运行.     hive有一套映射工具,可以把SQL转换为MapReduce中的job,可以把SQL中的表.字段转换为HDFS中的文件(夹)以及文件中的列.     这套映射工具称之为metastore,一般存放在derby.mysql中.1.2 hive在hdfs中的

Hadoop、HBase、Hive整合安装文档

前期准备(版本匹配): Hadoop 2.x is faster and includes features, such as short-circuit reads, which will help improve your HBase random read profile. Hadoop 2.x also includes important bug fixes that will improve your overall HBase experience. HBase 0.98 depr

基于MySQL元数据的Hive的安装和简单測试

引言: Hive是一种强大的数据仓库查询语言,类似SQL,本文将介绍怎样搭建Hive的开发測试环境. 1. 什么是Hive? hive是基于Hadoop的一个数据仓库工具,能够将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,能够将sql语句转换为MapReduce任务进行执行. 其长处是学习成本低,能够通过类SQL语句高速实现简单的MapReduce统计.不必开发专门的MapReduce应用,十分适合数据仓库的统计分析. 2.  依照Hive的准备条件 2.1  Hadoop集

hive的安装

1.hive下载 http://apache.opencas.org/hive/stable/apache-hive-1.2.1-bin.tar.gz (安装hive时,保证hadoop已在本机正常运行着) 3.部署步骤 vim /etc/profile export HIVE_HOME=/home/richmail/hive export PATH=$HIVE_HOME/bin:$PATH tar pache-hive-1.2.1-bin.tar.gz ln -sf pache-hive-1.

安装hive和安装mysql

首先检查系统安装的mysql版本,使用命令    rpm  -qa | grep mysql 若要安装自己的版本,则先执行删除操作       rpm  -e  xxxxx.rpm   --nodeps 然后安装自己的版本,        rpm  -i  xxxxx.rpm 远程连接mysql,操作步骤如下: 1.进入mysql环境中 mysql -uroot -proot 2.设置mysql,授权hive可以远程连接mysql数据库 grant  all on hive.* to 'root

基于MySQL元数据的Hive的安装和简单测试

引言: Hive是一种强大的数据仓库查询语言,类似SQL,本文将介绍如何搭建Hive的开发测试环境. 1. 什么是Hive? hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析. 2.  按照Hive的准备条件 2.1  Hadoop集

Hive的安装与MySQL结合

#HIVE可以在任意节点搭建,实验在master 链接:http://pan.baidu.com/s/1i4LCmAp 密码:302x hadoop+hive下载 ##原封不动的复制,必死无疑,请根据实际填写相关参数和路径 1.  Hive的基础设施 a.基于已经搭建好的hadoop b.下载hive版本,注意和hadoop对应起来 2.安装hive a.下载好的包解压到/usr/local/命名为hive tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /u

Hive的安装与使用

hive是一个SQL解析引擎,可以在hive中创建表,执行sql语句.创建的表是存储在hdfs中,执行的sql语句是通过MapReduce执行的.可以通过执行sql语句来代替编写MapReduce作业,太方便了! 1.解压缩.设置环境 hive使用的版本是hive-0.9.0.tar.gz.我们在/usr/local目录下解压缩.重命名 ta -xzvf hive-0.9.0.tar.gz mv hive-0.9.0 hive 在/etc/profile中设置环境变量HIVE_HOME,指向/u

Hadoop+Hive+Mysql安装文档

2013-03-12 22:07 1503人阅读 评论(0) 收藏 举报  分类: Hadoop(13)  目录(?)[+] Hadoop+Hive+Mysql安装文档 软件版本 redhat enterprise server5.5 64 Hadoop 1.0.0 Hive 0.8.1 Mysql 5 Jdk 1.6 整体构架 共有7台机器,做4个数据节点,将name节点.jobtracker和secondaryname都分开,各机器分工如下 机器ip 主机名 用途 备注 123.456.78

Hive的安装与配置

1.因为我使用MySQL做为Hive的元数据库,所以先安装MySQL. 参考:http://www.cnblogs.com/hunttown/p/5452205.html 登录命令:mysql -h主机地址 -u用户名 -p用户密码 mysql –u root #初始登录没有密码 修改密码 格式:mysqladmin -u用户名 -p旧密码 password 新密码 mysql>mysqladmin -uroot –password 123456 注:因为开始时root没有密码,所以-p旧密码一