【原】Centos6.5下cdh4.6 hive安装部署

1、前提条件:

只需要选择一台服务器即可,这里选择安装在namenode上;安装用户为cloud-user

2、安装包:

sudo yum
install -y hive hive-metastore hive-server2

3、安装mysql:

sudo yum
install -y mysql-server

sudo service
mysqld start

sudo yum install -y
mysql-connector-java

sudo ln -s
/usr/share/java/mysql-connector-java.jar /usr/lib/hive/lib/mysql-connector-java.jar

sudo
/usr/bin/mysql_secure_installation (YYNYY)

创建数据库:

mysql -u root
-p

Enter password:

mysql> CREATE DATABASE metastore;

mysql> USE metastore;

mysql> SOURCE
/usr/lib/hive/scripts/metastore/upgrade/mysql/hive-schema-0.10.0.mysql.sql;

mysql> CREATE USER ‘hive‘@‘10.0.0.2‘ IDENTIFIED BY
‘mypassword‘;

mysql> REVOKE ALL PRIVILEGES, GRANT OPTION FROM
‘hive‘@‘10.0.0.2‘;

mysql> GRANT SELECT,INSERT,UPDATE,DELETE,LOCK TABLES,EXECUTE ON
metastore.* TO ‘hive‘@‘10.0.0.2‘;

mysql> FLUSH PRIVILEGES;

mysql> quit;

4、配置hive-site.xml:


 1 <property>
2 <name>javax.jdo.option.ConnectionURL</name>
3 <value>jdbc:mysql://10.0.0.2/metastore</value>
4 <description>JDBC connect string for a JDBC metastore</description>
5 </property>
6
7 <property>
8 <name>javax.jdo.option.ConnectionDriverName</name>
9 <value>com.mysql.jdbc.Driver</value>
10 <description>Driver class name for a JDBC metastore</description>
11 </property>
12 <property>
13 <name>javax.jdo.option.ConnectionUserName</name>
14 <value>hive</value>
15 </property>
16 <property>
17 <name>javax.jdo.option.ConnectionPassword</name>
18 <value>mypassword</value>
19 </property>
20 <property>
21 <name>datanucleus.autoCreateSchema</name>
22 <value>false</value>
23 </property>
24 <property>
25 <name>datanucleus.fixedDatastore</name>
26 <value>true</value>
27 </property>
28 <property>
29 <name>datanucleus.autoStartMechanism</name>
30 <value>SchemaTable</value>
31 </property>
32 <property>
33 <name>hive.metastore.uris</name>
34 <value>thrift://10.0.0.2:9083</value>
35 <description>IP address (or fully-qualified domain name) and port of the metastore host</description>
36 </property>
37 <property>
38 <name>hive.support.concurrency</name>
39 <description>Enable Hive‘s Table Lock Manager Service</description>
40 <value>true</value>
41 </property>
42 <property>
43 <name>hive.zookeeper.quorum</name>
44 <description>Zookeeper quorum used by Hive‘s Table Lock Manager</description>
45 <value>10.0.0.4,10.0.0.6,10.0.0.11</value>
46 </property>
47 <property>
48 <name>hive.zookeeper.client.port</name>
49 <value>2181</value>
50 <description>The port at which the clients will connect.</description>
51 </property>
52 <property>
53 <name>hive.server2.thrift.port</name>
54 <value>10001</value>
55 <description>TCP port number to listen on, default 10000</description>
56 </property>
57 <property>
58 <name>hive.aux.jars.path</name>
59  <value>file:////usr/lib/hbase/hbase.jar,file:///usr/lib/hive/lib/zookeeper.jar,file:///usr/lib/hive/lib/hive-hbase-handler-0.10.0-cdh4.6.0.jar,file:///usr/lib/hive/lib/guava-11.0.2.jar</value>
60 </property>

5、配置yarn:

export
HADOOP_MAPRED_HOME=/usr/lib/hadoop-mapreduce

6、配置hdfs目录:

   sudo -u hdfs hadoop fs -chmod
777 /user

sudo -u hdfs hadoop fs -mkdir /user/history

sudo -u hdfs hadoop fs -chmod -R 1777 /user/history

sudo -u hdfs hadoop fs -chown mapred:hadoop /user/history

sudo -u hdfs hadoop fs -mkdir /var/log/hadoop-yarn

sudo -u hdfs hadoop fs -chown yarn:mapred
/var/log/hadoop-yarn

sudo -u hdfs
hadoop fs -mkdir /tmp

sudo -u hdfs hadoop fs -chmod -R 1777 /tmp

sudo -u hdfs
hadoop fs -mkdir /user/hive
     sudo -u hdfs hadoop fs -mkdir
/user/hive/warehouse
     sudo -u hdfs hadoop fs -chown -R
hive /user/hive
     sudo -u hdfs hadoop fs -chmod -R 1777
/user/hive/warehouse

sudo -u hdfs
hadoop fs -mkdir /tmp/hadoop-mapred

sudo -u hdfs
hadoop fs -mkdir /tmp/hive-hive

sudo -u hdfs hadoop fs -chmod -R 777
/tmp/hadoop-mapred
     sudo -u hdfs hadoop fs -chmod -R 777
/tmp/hive-hive

sudo chown -R hive:hive /var/lib/hive/.hivehistory

sudo -u hdfs hadoop fs -mkdir /user/cloud-user

sudo -u hdfs hadoop fs -chown cloud-user:cloud-user
/user/cloud-user

7、服务启动:

sudo service hive-metastore start

sudo service hive-server2 start

8、测试:

sudo
/usr/lib/hive/bin/beeline

beeline> !connect
jdbc:hive2://10.0.0.2:10001 hive
mypassword org.apache.hive.jdbc.HiveDriver

0:
jdbc:hive2://10.0.0.2:10001> SHOW TABLES;

show
tables;

+-----------+

| tab_name
|

+-----------+

+-----------+

No rows selected
(0.238 seconds)

0:
jdbc:hive2://10.0.0.2:10001>!quit

【原】Centos6.5下cdh4.6 hive安装部署

时间: 2024-10-10 18:41:15

【原】Centos6.5下cdh4.6 hive安装部署的相关文章

【原】centos6.5下cdh4.6 Oozie安装

0.oozie只需安装在一台服务器上,这里选择在namenode上来安装:安装用户为cloud-user 1.安装Oozie包: sudo yum install -y oozie oozie-client 2.对于yarn来说,需要修改/etc/oozie/conf/oozie-env.sh中: CATALINA_BASE=/usr/lib/oozie/oozie-server 3.配置mysql: yum install -y mysql-server 创建数据库: mysql -u roo

CentOS6.4下Mysql数据库的安装与配置,导入数据库,授权远程ip

卸载掉原有mysql 因为mysql数据库在Linux上实在是太流行了,所以目前下载的主流Linux系统版本基本上都集成了mysql数据库在里面,我们可以通过如下命令来查看我们的操作系统上是否已经安装了mysql数据库 [[email protected] ~]# rpm -qa | grep mysql // 这个命令就会查看该操作系统上是否已经安装了mysql数据库 有的话,我们就通过 rpm -e 命令 或者 rpm -e --nodeps 命令来卸载掉 [[email protected

Centos6.3下Ganglia3.6.0安装配置

最近安装Ganglia,由于之前Linux基础基本为0,因此费了很大的周折.最后在失败了好多次之后终于看到了梦寐以求的web界面.下面总结下这几天来的工作. ganglia是一个监控软件,他包含三部分:Gmond,Gmetad和Gweb.在需要监控的主机上安装Gmond,他会采集当前主机上的一些信息:Gmetad部署在服务器端,它轮训主机,收集Gmond采集的主机信息,然后存在在rrdtool数据库中:Gweb是一个前台显示的界面,他读取Gmetad保存的rrd文件,显示在web界面上. 部署规

CentOS6.2下搭建LNMP、安装wordpress(大神请远离)

CentOS6.2下搭建LNMP.安装wordpress参考文章:http://www.linuxidc.com/Linux/2014-08/105128.htm 早就给自己安排好了要做的事情,但是每天被繁琐的事情所忙,把去年该做的事情一直拖到了现在.终于在今天,小心脏多跳了几下,手一抖,开始下手去做了,结果半天就这样过去了.时间过得真快啊,尤其是在自己有事情做地时候.        好了,开始记录了,权做写的日记了       先上图,看下成果:(后台管理部分) (貌似很卡顿的样子,是不是该优

Centos6.5下对nat123的安装以及使用

前面我有篇文章有说道在我们本地做开发调试的过程中常用到的一个映射工具nat123,简单的文章介绍可以参见[nat123内网地址公网映射实现] ,这里我来说说如何在Centos6.5下对nat123的安装使用! (一)安转环境准备工作 ①环境部署之安装bison环境:如提示已存在时,忽略:如提示是否继续时输入y回车继续! #yum  install bison ②环境部署之安装gettext环境:如提示已存在时,忽略:如提示是否继续时输入y回车继续! #yum  install  gettext

Hive安装部署与配置

Hive安装部署与配置 1.1 Hive安装地址 1)Hive官网地址: http://hive.apache.org/ 2)文档查看地址: https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3)下载地址: http://archive.apache.org/dist/hive/ 4)github地址: https://github.com/apache/hive 1.2 Hive安装部署 1)Hive安装及配置 (1

Windows下ActiveMQ下载、安装部署

Windows下ActiveMQ下载.安装部署 1.下载:http://activemq.apache.org/download.html 最新Windows版本 2.安装 (1) 首先配置JAVA环境变量 JAVA_HOME=D:\Program Files\Java\jdk1.5.0 CLASSPAHT=.;D:\Program Files\Java\jdk1.5.0\lib\tools.jar;D:\Program Files\Java\jdk1.5.0\lib\td.jar;D:\Pro

CentOS7.X环境下源码包安装部署RabbitMQ3.7.17

本文介绍在CentOS7.X环境下源码包安装部署RabbitMQ3.7.17,使用docker安装很简单,这里我就不往文章中添加.在CentOS7.X环境下使用源码包安装还是有遇到不少坑的(使用yum安装的方式官方网站有介绍,比较简单),通过这篇我的个人实践操作,能够帮助到有需要的人.搭建环境:操作系统:CentOS7.5内存大小:16GB硬盘:100G注:正文中的参数与部署路径等,请根据实际需求修改.1.软件准备:wxWidgets-3.1.2.tar.bz2otp_src_22.0.tar.

Linux学习之CentOS(十三)--CentOS6.4下Mysql数据库的安装与配置

原文:http://www.cnblogs.com/xiaoluo501395377/archive/2013/04/07/3003278.html 如果要在Linux上做j2ee开发,首先得搭建好j2ee的开发环境,包括了jdk.tomcat.eclipse的安装(这个在之前的一篇随笔中已经有详细讲解了Linux学习之CentOS(七)--CentOS下j2ee环境搭建),如果要开发web项目,我们当然可以安装一个myeclipse到Linux系统上去,这个安装方法和安装eclipse完全相同