【甘道夫】Oozie-4.0.0-CDH5.2.0 安装部署

引言

Oozie是Hadoop生态系统中的工作流控制组件,可以调度MR,Hive,Shell等各类任务,并配置复杂的工作流程。

今天介绍如何安装部署,使用的是单机测试环境。


欢迎转载,请注明来源:

http://blog.csdn.net/u010967382/article/details/41355953


下载解压

下载安装过程需要的相关文件:

oozie4.0.0安装包

http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.2.0.tar.gz

ext2.2包

http://extjs.com/deploy/ext-2.2.zip

存在在/home/casliyang/Downloads/ext-2.2.zip

将oozie4.0.0安装包解压拷贝到:

/home/casliyang/oozie/oozie-4.0.0-cdh5.2.0

这也也是即将配置环境变量的OOZIE_HOME


配置环境变量

向/etc/profile中加入如下三行,注意加完回到原用户后执行source /etc/profile

export OOZIE_HOME=/home/casliyang/oozie/oozie-4.0.0-cdh5.2.0

export OOZIE_CONFIG=$OOZIE_HOME/conf

export CLASSPATH=$CLASSPATH:$OOZIE_HOME/bin


将ext2.2.0和hadoop相关jar包加入war包,并发布到自带的web server下

在$OOZIE_HOME/bin目录下执行

./addtowar.sh -inputwar $OOZIE_HOME/oozie.war -outputwar $OOZIE_HOME/oozie-server/webapps/oozie.war -hadoop 2.5.0 $HADOOP_HOME -extjs /home/casliyang/Downloads/ext-2.2.zip


生成oozie数据库脚本并执行

这里使用的是自带的derby数据库

在$OOZIE_HOME/bin目录下

执行以下命令创建数据库脚本

./ooziedb.sh create -sqlfile oozie.sql

通过以下命令执行sql脚本初始化数据库

./oozie-setup.sh db create -run  -sqlfile $OOZIE_HOME/bin/oozie.sql


配置oozie

配置$OOZIE_HOME/conf/oozie-site.xml

修改以下配置项,将值指向真实hadoop配置文件路径,实现oozie和hadoop的关联:

<property>

<name>oozie.service.HadoopAccessorService.hadoop.configurations</name>

<value>*=/home/casliyang/hadoop2/hadoop-2.5.0-cdh5.2.0/etc/hadoop</value>

<description>

Comma separated AUTHORITY=HADOOP_CONF_DIR, where AUTHORITY is the HOST:PORT of

the Hadoop service (JobTracker, HDFS). The wildcard ‘*‘ configuration is

used when there is no exact match for an authority. The HADOOP_CONF_DIR contains

the relevant Hadoop *-site.xml files. If the path is relative is looked within

the Oozie configuration directory; though the path can be absolute (i.e. to point

to Hadoop client conf/ directories in the local filesystem.

</description>

</property>

配置$OOZIE_HOME/conf/oozie-default.xml

将oozie.services属性中的org.apache.oozie.service.JobsConcurrencyService值提到第一个位置。


HDFS上创建共享目录

在$HADOOP_HOME/etc/hadoop/core-site.xml中加入以下配置,红色的casliyang为用户名,蓝色的casliyang为组名,singlehadoop为oozie的host(注意不能用localhost,会报错):

<!-- for oozie,add by casliyang,2014-11-21 -->

<property>

<name>hadoop.proxyuser.casliyang.hosts</name>

<value>singlehadoop</value>

</property>

<property>

<name>hadoop.proxyuser.casliyang.groups</name>

<value>casliyang</value>

</property>

启动HADOOP,该步骤不详述。

在$OOZIE_HOME/bin目录下执行:

[email protected]:~/oozie/oozie-4.0.0-cdh5.2.0/bin$ ./oozie-setup.sh sharelib create -fs hdfs://singlehadoop:8020 -locallib $OOZIE_HOME/oozie-sharelib-4.0.0-cdh5.2.0-yarn.tar.gz

setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"

log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).

log4j:WARN Please initialize the log4j system properly.

log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

SLF4J: Class path contains multiple SLF4J bindings.

SLF4J: Found binding in [jar:file:/home/casliyang/oozie/oozie-4.0.0-cdh5.2.0/libtools/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: Found binding in [jar:file:/home/casliyang/oozie/oozie-4.0.0-cdh5.2.0/libtools/slf4j-simple-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.

SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

the destination path for sharelib is: /user/casliyang/share/lib/lib_20141121184647


启动oozie

在$OOZIE_HOME/bin目录下

前台运行oozie:

./oozied.sh run

后台运行oozie:

./oozied.sh start

查看oozie网页:

http://ip:11000/oozie

停止oozie:

./oozied.sh stop

时间: 2024-08-04 06:22:31

【甘道夫】Oozie-4.0.0-CDH5.2.0 安装部署的相关文章

【甘道夫】使用sqoop-1.4.4.bin__hadoop-2.0.4-alpha将Oracle11g数据导入HBase0.96

环境: Hadoop2.2.0 Hbase0.96 sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz Oracle11g jdk1.7 Ubuntu14 Server 这里关于环境吐槽一句: 最新版本的Sqoop1.99.3功能太弱,只支持导入数据到HDFS,没有别的任何选项,太土了!(如有不同意见欢迎讨论给出解决方案) 命令: sqoop import --connect jdbc:oracle:thin:@192.168.0.147:1521:ORCLGB

【甘道夫】基于Mahout0.9+CDH5.2运行分布式ItemCF推荐算法

环境: hadoop-2.5.0-cdh5.2.0 mahout-0.9-cdh5.2.0 引言 虽然Mahout已经宣布不再继续基于Mapreduce开发,迁移到Spark,但是实际面临的情况是公司集群没有足够的内存支持Spark这只把内存当饭吃的猛兽,再加上项目进度的压力以及开发人员的技能现状,所以不得不继续使用Mahout一段时间. 今天记录的是命令行运行ItemCF on Hadoop的过程. 历史 之前读过一些前辈们关于的Mahout ItemCF on Hadoop编程的相关文章,描

【甘道夫】用贝叶斯文本分类测试打过1329-3.patch的Mahout0.9 on Hadoop2.2.0

引言 接前一篇文章<[甘道夫]Mahout0.9 打patch使其支持 Hadoop2.2.0> http://blog.csdn.net/u010967382/article/details/39088035, 为Mahout0.9打过Patch编译成功后,使用贝叶斯文本分类来测试Mahout0.9对Hadoop2.2.0的兼容性. 欢迎转载,转载请注明出处: http://blog.csdn.net/u010967382/article/details/39088285 步骤一:将20ne

【甘道夫】Hadoop2.2.0环境使用Sqoop-1.4.4将Oracle11g数据导入HBase0.96,并自动生成组合行键

目的: 使用Sqoop将Oracle中的数据导入到HBase中,并自动生成组合行键! 环境: Hadoop2.2.0 Hbase0.96 sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz Oracle11g jdk1.7 Ubuntu14 Server 这里关于环境吐槽一句: 最新版本的Sqoop1.99.3功能太弱,只支持导入数据到HDFS,没有别的任何选项,太土了!(如有不同意见欢迎讨论给出解决方案) 命令: sqoop import --connect

【甘道夫】Hadoop2.2.0 NN HA详细配置+Client透明性试验【完整版】

引言: 前面转载过一篇团队兄弟[伊利丹]写的NN HA实验记录,我也基于他的环境实验了NN HA对于Client的透明性. 本篇文章记录的是亲自配置NN HA的详细全过程,以及全面测试HA对客户端访问透明性的全过程,希望对大家有帮助. 实验环境: Hadoop2.2.0的4节点集群,ZK节点3个(ZK节点数最好为奇数个),hosts文件和各节点角色分配如下: hosts: 192.168.66.91 master 192.168.66.92 slave1 192.168.66.93 slave2

【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse小工具

目标: 编译Apache Hadoop2.2.0在win7x64环境下的Eclipse插件 环境: win7x64家庭普通版 eclipse-jee-kepler-SR1-win32-x86_64.zip Apache Ant(TM) version 1.8.4 compiled on May 22 2012 java version "1.7.0_45" 參考文章: http://kangfoo.u.qiniudn.com/article/2013/12/build-hadoop2x

【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse插件

目标: 编译Apache Hadoop2.2.0在win7x64环境下的Eclipse插件 环境: win7x64家庭普通版 eclipse-jee-kepler-SR1-win32-x86_64.zip Apache Ant(TM) version 1.8.4 compiled on May 22 2012 java version "1.7.0_45" 参考文章: http://kangfoo.u.qiniudn.com/article/2013/12/build-hadoop2x

【甘道夫】Win7环境下Eclipse连接Hadoop2.2.0

准备: 确保hadoop2.2.0集群正常运行 1.eclipse中建立java工程,导入hadoop2.2.0相关jar包 2.在src根目录下拷入log4j.properties,通过log4j查看详细日志 log4j.rootLogger=debug, stdout, R log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLa

【甘道夫】Hive 0.13.1 on Hadoop2.2.0 + Oracle10g部署详解

环境: hadoop2.2.0 hive0.13.1 Ubuntu 14.04 LTS java version "1.7.0_60" Oracle10g ***欢迎转载,请注明来源***    http://blog.csdn.net/u010967382/article/details/38709751 到以下地址下载安装包 http://mirrors.cnnic.cn/apache/hive/stable/apache-hive-0.13.1-bin.tar.gz 安装包解压到

【甘道夫】HBase(0.96以上版本)过滤器Filter详解及实例代码

说明: 本文参考官方Ref Guide,Developer API和众多博客,并结合实测代码编写,详细总结HBase的Filter功能,并附上每类Filter的相应代码实现. 本文尽量遵从Ref Guide中"9.4. Client Request Filters"的行文顺序,便于读者对比查看,但内容比官方文档更加详实. 欢迎转载,请注明来源: http://blog.csdn.net/u010967382/article/details/37653177 目录: 引言 -- 参数基础