【原】centos6.5下cdh4.6 Oozie安装

0、oozie只需安装在一台服务器上,这里选择在namenode上来安装;安装用户为cloud-user

1、安装Oozie包:

sudo yum
install -y oozie oozie-client

2、对于yarn来说,需要修改/etc/oozie/conf/oozie-env.sh中:

CATALINA_BASE=/usr/lib/oozie/oozie-server

3、配置mysql:

yum install -y
mysql-server

创建数据库:

mysql -u root -p

mysql> create database oozie;

mysql> grant all privileges on oozie.* to ‘oozie‘@‘localhost‘
identified by ‘oozie‘;

mysql> grant all privileges on oozie.* to ‘oozie‘@‘%‘ identified by
‘oozie‘;

mysql> exit

4、配置oozie-site.xml:


 1 <property>
2 <name>oozie.service.JPAService.jdbc.driver</name>
3 <value>com.mysql.jdbc.Driver</value>
4 </property>
5 <property>
6 <name>oozie.service.JPAService.jdbc.url</name>
7 <value>jdbc:mysql://10.0.0.2:3306/oozie</value>
8 </property>
9 <property>
10 <name>oozie.service.JPAService.jdbc.username</name>
11 <value>oozie</value>
12 </property>
13 <property>
14 <name>oozie.service.JPAService.jdbc.password</name>
15 <value>oozie</value>
16 </property>
17 <property>
18 <name>oozie.action.mapreduce.uber.jar.enable</name>
19 <value>true</value>
20 </property>
21 <property>
22 <name>oozie.service.HadoopAccessorService.supported.filesystems</name>
23 <value>hdfs,viewfs</value>
24 </property>
25 <property>
26 <name>oozie.service.ProxyUserService.proxyuser.cloud-user.hosts</name>
27 <value>*</value>
28 </property>
29 <property>
30 <name>oozie.service.ProxyUserService.proxyuser.cloud-user.groups</name>
31 <value>*</value>
32 </property>

5、拷贝JDBC
Driver:

sudo cp
/usr/share/java/mysql-connector-java.jar /var/lib/oozie

sudo cp
/usr/lib/hadoop/lib/hadoop-lzo-cdh4-0.4.15-gplextras.jar /var/lib/oozie

sudo cp
/usr/lib/hadoop/lib/hadoop-lzo.jar /var/lib/oozie

6、创建oozie
数据库scheme,这一步骤需要root来执行:

su -

  /usr/lib/oozie/bin/ooziedb.sh
create -sqlfile oozie-create.sql

/usr/lib/oozie/bin/ooziedb.sh create -run

7、使能web
console:

wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip

  sudo
mv ext-2.2.zip /var/lib/oozie/

cd /var/lib/oozie/ && sudo unzip ext-2.2.zip

  sudo
chown -R oozie:oozie /var/lib/oozie/

8、安装Oozie
ShareLib:

sudo -u hdfs hadoop fs -mkdir /user/oozie

sudo -u hdfs hadoop fs -chown oozie:oozie /user/oozie

mkdir /tmp/ooziesharelib

cd /tmp/ooziesharelib

tar xzf
/usr/lib/oozie/oozie-sharelib-yarn.tar.gz

sudo -u oozie hadoop fs -put share /user/oozie/share

9、启动服务:

sudo service oozie start

10、测试map-reduce:

  添加/etc/hadoop/conf/core-site.xml


1 <property>
2 <name>hadoop.proxyuser.oozie.hosts</name>
3 <value>10.0.0.2</value>
4 </property>
5 <property>
6 <name>hadoop.proxyuser.oozie.groups</name>
7 <value>*</value>
8 </property>

  cp /usr/share/doc/oozie-3.3.2+100/oozie-examples.tar.gz
.  

  tar
-zxvf oozie-examples.tar.gz

  修改example/apps/map-reduce/job.properties

  nameNode=hdfs://10.0.0.2:8020
  jobTracker=10.0.0.2:8032 端口改为/etc/hadoop/conf/yarn-site.xml中
‘yarn.resourcemanager.address ‘ 项的值

hadoop fs -put examples

  oozie job -oozie
http://10.0.0.3:11000/oozie -config  ./examples/apps/no-op/job.properties
-run

  Job ID :
0000000-140508214215146-oozie-oozi-W

  通过oozie
job -oozie http://10.0.0.3:11000/oozie
-log 0000000-140508214215146-oozie-oozi-W查看log

  通过oozie
job -oozie http://10.0.0.3:11000/oozie
-info 0000000-140508214215146-oozie-oozi-W查看信息

  通过http://namenode:11000/oozie查看web
console

时间: 2024-12-20 12:58:14

【原】centos6.5下cdh4.6 Oozie安装的相关文章

【原】Centos6.5下cdh4.6 hive安装部署

1.前提条件: 只需要选择一台服务器即可,这里选择安装在namenode上:安装用户为cloud-user 2.安装包: sudo yum install -y hive hive-metastore hive-server2 3.安装mysql: sudo yum install -y mysql-server sudo service mysqld start sudo yum install -y mysql-connector-java sudo ln -s /usr/share/jav

CentOS6.4下Mysql数据库的安装与配置,导入数据库,授权远程ip

卸载掉原有mysql 因为mysql数据库在Linux上实在是太流行了,所以目前下载的主流Linux系统版本基本上都集成了mysql数据库在里面,我们可以通过如下命令来查看我们的操作系统上是否已经安装了mysql数据库 [[email protected] ~]# rpm -qa | grep mysql // 这个命令就会查看该操作系统上是否已经安装了mysql数据库 有的话,我们就通过 rpm -e 命令 或者 rpm -e --nodeps 命令来卸载掉 [[email protected

Centos6.3下Ganglia3.6.0安装配置

最近安装Ganglia,由于之前Linux基础基本为0,因此费了很大的周折.最后在失败了好多次之后终于看到了梦寐以求的web界面.下面总结下这几天来的工作. ganglia是一个监控软件,他包含三部分:Gmond,Gmetad和Gweb.在需要监控的主机上安装Gmond,他会采集当前主机上的一些信息:Gmetad部署在服务器端,它轮训主机,收集Gmond采集的主机信息,然后存在在rrdtool数据库中:Gweb是一个前台显示的界面,他读取Gmetad保存的rrd文件,显示在web界面上. 部署规

CentOS6.2下搭建LNMP、安装wordpress(大神请远离)

CentOS6.2下搭建LNMP.安装wordpress参考文章:http://www.linuxidc.com/Linux/2014-08/105128.htm 早就给自己安排好了要做的事情,但是每天被繁琐的事情所忙,把去年该做的事情一直拖到了现在.终于在今天,小心脏多跳了几下,手一抖,开始下手去做了,结果半天就这样过去了.时间过得真快啊,尤其是在自己有事情做地时候.        好了,开始记录了,权做写的日记了       先上图,看下成果:(后台管理部分) (貌似很卡顿的样子,是不是该优

Centos6.5下对nat123的安装以及使用

前面我有篇文章有说道在我们本地做开发调试的过程中常用到的一个映射工具nat123,简单的文章介绍可以参见[nat123内网地址公网映射实现] ,这里我来说说如何在Centos6.5下对nat123的安装使用! (一)安转环境准备工作 ①环境部署之安装bison环境:如提示已存在时,忽略:如提示是否继续时输入y回车继续! #yum  install bison ②环境部署之安装gettext环境:如提示已存在时,忽略:如提示是否继续时输入y回车继续! #yum  install  gettext

Linux学习之CentOS(十三)--CentOS6.4下Mysql数据库的安装与配置

原文:http://www.cnblogs.com/xiaoluo501395377/archive/2013/04/07/3003278.html 如果要在Linux上做j2ee开发,首先得搭建好j2ee的开发环境,包括了jdk.tomcat.eclipse的安装(这个在之前的一篇随笔中已经有详细讲解了Linux学习之CentOS(七)--CentOS下j2ee环境搭建),如果要开发web项目,我们当然可以安装一个myeclipse到Linux系统上去,这个安装方法和安装eclipse完全相同

CentOS6.x下卸载openjdk并安装配置sun JDK1.8

CentOS下安装配置JDK方法较多,推荐用tar.gz包来安装,安装文件目录自己可控. 环境centos6.3 1.下载JDK: http://download.oracle.com/otn-pub/java/jdk/8u65-b17/jdk-8u65-linux-i586.tar.gz 2.检查卸载已经安装的默认jdk [[email protected] etc]# rpm -qa | grep jdk java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.

Centos6.5下Oracle 11g R2安装过程

来自: http://blog.csdn.net/cafardhaibin/article/details/25071249 1准备CentOS-6.5-x86_64-bin-DVD1linux_11gR2_database_1of2linux_11gR2_database_2of2VMware Workstation 10.0.2SSH Secure Shell Clientinstantclient_11_2plsqldev10052安装虚拟机及CentOS(1)安装VMware Works

Linux/CentOS6.3下MongoDB数据库的安装、配置

下载源码:(放到 /usr/local/src 目录下) 到官网 http://www.mongodb.org/downloads 下载源码 https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.2.7.tgz (64位) https://fastdl.mongodb.org/linux/mongodb-linux-i686-2.2.7.tgz (32位) 注意:32位系统安装32位的,64位系统安装64位的! 安装MongoDB #创建