在apache hadoop2.6 上部署hive 并将hive数据源存储于Mysql

集成hive 的前提是apache hadoop 集群能够正常启动。

hadoop 版本 apach2.6.0  hive 版本:1.2.1

1、安装mysql 并赋予权限:

1.1:创建hive 用户和密码:

Create user  ‘hive’ identified by ‘123456’

1.2:创建数据库:create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

1.3:授权允许远程登陆:grant all privileges on *.* to ‘user‘@‘hostname‘ identified by ‘passwd‘ with grant option;

flush privileges;

1.4 将mysql 驱动复制到 hive/lib 目录下

  mysql-connector-java-5.1.38-bin.jar

2、hive 配置文件在conf 目录下:hive-env.sh

cp hive-env.sh.template hive-env.sh

最后添加如下配置:

export JAVA_HOME=/usr/java/jdk1.7.0_79
export HIVE_HOME=/home/hadoop/hive-1.2.1-bin
export HADOOP_HOME=/home/hadoop/hadoop-2.6.0

3、hive-site.xml

3.1hdfs 上的文件需要事先创建,如果出现权限问题修改对应的权限即可:hadoop dfs -chmod -R 777 hdfs://node17:9000/hive/scratchdir

3.2需要将下述jar文件复制到hive/lib目录下
home/hadoop/hive-1.2.1-bin/lib/hive-hbase-handler-1.2.1.jar
file:///home/hadoop/hive-1.2.1-bin/lib/protobuf-java-2.5.0.jar,
file:///home/hadoop/hive-1.2.1-bin/lib/hbase-client-1.0.0.jar,
file:///home/hadoop/hive-1.2.1-bin/lib/hbase-common-1.0.0.jar,
file:///home/hadoop/hive-1.2.1-bin/lib/zookeeper-3.4.6.jar,
file:///home/hadoop/hive-1.2.1-bin/lib/guava-12.0.1.jar

<configuration><property><name>hive.metastore.warehouse.dir</name><value>hdfs://node17:9000/hive/warehouse</value></property><property><name>hive.exec.scratchdir</name><value>hdfs://node17:9000/hive/scratchdir</value></property><property><name>hive.querylog.location</name><value>/home/hadoop/hive-1.2.1-bin/logs</value></property><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://node15:3306/hive?createDatabaseIfNotExist=true</value></property>

<property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property>

<property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property>

<name>javax.jdo.option.ConnectionPassword</name><value>123456</value></property>

<property><name>hive.aux.jars.path</name><value>file:///home/hadoop/hive-1.2.1-bin/lib/hive-hbase-handler-1.2.1.jar ,file:///home/hadoop/hive-1.2.1-bin/lib/protobuf-java-2.5.0.jar,file:///home/hadoop/hive-1.2.1-bin/lib/hbase-client-1.0.0.jar,file:///home/hadoop/hive-1.2.1-bin/lib/hbase-common-1.0.0.jar,file:///home/hadoop/hive-1.2.1-bin/lib/zookeeper-3.4.6.jar,file:///home/hadoop/hive-1.2.1-bin/lib/guava-12.0.1.jar</value></property>

<property><name>hive.metastore.uris</name><value>thrift://node17:9083</value>       </property>

  <property>    <name>hive.exec.local.scratchdir</name>    <value>/home/hadoop/hive-1.2.1-bin/tmp</value>  </property>

</configuration>

出现问题:

Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
    at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)
    at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:677)
    at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

解决办法:

启动metastore service服务即可。

./hive --service metastore

解决办法:

删除 yarn 下的 jline-0.9.94.jar jar 包即可。

./hadoop-2.6.0/share/hadoop/yarn/lib/jline-0.9.94.jar

时间: 2024-10-09 17:24:46

在apache hadoop2.6 上部署hive 并将hive数据源存储于Mysql的相关文章

应用服务器上部署自己的 blog 和 wiki 组件。

协作性应用程序 这就是 Web 2.0 的全部,尽管该术语出现才几乎一年的时间,但现在好像只有烹饪杂志还没有加入到讨论 Web 2.0 未来出路的行列中.自从出现了里程碑式的文章 "What Is Web 2.0: Design Patterns and Business Models for the Next Generation of Software"(此文由 Tim O'Reilly 在 2005 年 9 月所写,参见 参考资料 中的链接),对 Web 2.0 这一由该文创造的

在hadoop2.2上安装hive

折腾了大半天终于把hive安装在hadoop2.2上了,为了今后有可查阅的资料,这里记录下整个过程,如有不对的地方,敬请拍砖!(安装hive要稍微简单一点,因为只需要部署在一台机器上就可以了) 下载:hive-0.9.0.tar.gz 解压到某路径中, 首先,将解压出来的mysql-connector-java-5.1.22-bin.jar复制到/hive下的lib路径里 设置环境变量,修改/etc/profile HIVE_HOME=/opt/hive-0.13.1 HADOOP_CONF_D

Datax与hadoop2.x兼容部署与实际项目应用工作记录分享

一.概述 Hadoop的版本更新挺快的,已经到了2.4,但是其周边工具的更新速度还是比较慢的,一些旧的周边工具版本对hadoop2.x的兼容性做得还不完善,特别是sqoop.最近,在为hadoop2.2.0找适合的sqoop版本时遇到了很多问题.尝试了多个sqoop1.4.x版本的直接简单粗暴的报版本不兼容问题,其中测了sqoop-1.4.4.bin__hadoop-0.23这个版本,在该版本中直接用sqoop的脚本export HDFS的数据是没有问题的,但是一旦调用JAVA API来进行对H

Apache Hadoop2.x 边安装边入门

完整PDF版本:<Apache Hadoop2.x边安装边入门> 目录 第一部分:Linux环境安装 第一步.配置Vmware NAT网络 一. Vmware网络模式介绍 二. NAT模式配置 第二步.安装Linux操作系统 三. Vmware上安装Linux系统 四.设置网络 五.修改Hostname 六.配置Host 七.关闭防火墙 八.关闭selinux 第三步.安装JDK 九.安装Java JDK 第二部分:Hadoop本地模式安装 第四步. Hadoop部署模式 第五步.本地模式部署

Hadoop2经典分布式部署模式

Hadoop2经典分布式部署模式 基于QJN的HA模式的分布式部署,不含Federation模块的实践是一个经典的Hadoop2的高可用的分布式部署模式. 1.准备测试环境 准备4台PC服务器做Hadoop2部署 ip hostname namenode fc datanode rm nodemanage QJN 10.71.84.237 hadoop201 Y Y Y Y Y Y 10.71.84.223 hadoop202 Y Y Y Y Y Y 10.71.84.222 hadoop203

【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse小工具

目标: 编译Apache Hadoop2.2.0在win7x64环境下的Eclipse插件 环境: win7x64家庭普通版 eclipse-jee-kepler-SR1-win32-x86_64.zip Apache Ant(TM) version 1.8.4 compiled on May 22 2012 java version "1.7.0_45" 參考文章: http://kangfoo.u.qiniudn.com/article/2013/12/build-hadoop2x

【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse插件

目标: 编译Apache Hadoop2.2.0在win7x64环境下的Eclipse插件 环境: win7x64家庭普通版 eclipse-jee-kepler-SR1-win32-x86_64.zip Apache Ant(TM) version 1.8.4 compiled on May 22 2012 java version "1.7.0_45" 参考文章: http://kangfoo.u.qiniudn.com/article/2013/12/build-hadoop2x

在CentOS上部署单机版Hadoop

本文记录如何在一台CentOS上部署单机版Hadoop.CentOS安装在Azure上. 安装CentOS 在Azure上新建一台虚拟机,选择操作系统CentOS6.8.记住主机名,比如centosforhd.主机名在后面设置中会用到. 安装好之后,用Putty工具登录到CentOS上.登录之后请转为root用户来操作下面的安装.(命令: sudo su) 安装Java 1 下载JDK 从Java官网下载最新的JDK.如果是在windows下下载,下载之后可以通过SSH Secure File

Hadoop2 伪分布式部署

一.简介 二.安装部署 三.运行hadoop例子并测试部署环境 四.注意的地方 一.简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构,Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上:而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序.HDFS放宽了(relax)