apache oozie安装试用

oozie是hadoop的工作流Scheduler,最新的版本到4.0.1了。试用了下,小坑还蛮多的。

1. 编译

我的主机上跑的是Hadoop 1.1.2,选的是oozie 3.3.0版本,下载源码,解压缩。

首先,要把源码里的javaversion从1.6改成1.7,主机是用jdk1.7。

编译oozie,命令是‘./bin/mkdistro.sh -DskipTests -Dhadoop.version=1.0.1‘,跳过测试,另外,不管Hadoop的版本是多少,只要它是1.x的,就只能是-Dhaoop.version=1.0.1,填其他版本号编译不通过。如果是Hadoop 2.x,只能填‘-Dhadoop.version=2.0.0-alpha‘,填其他版本号编译不通过。

2. 安装

编译结果在oozie-3.3.0/distro/target/oozie-3.3.0-distro/oozie-3.3.0,这个目录有

--------------------

bin lib oozie-core oozie-sharelib-3.3.0.tar.gz

conf libtools oozie-examples.tar.gz oozie.war

docs.zip oozie-client-3.3.0.tar.gz oozie-server release-log.txt

--------------------

把这些文件复制到安装目录/usr/local/lib/oozie-3.3.0,或者其他地方比如我的是~/usr/oozie-3.3.0。以后的操作都是安装目录进行。

3. 配置hadoop

在hadoop的core-site.xml里添加oozie的配置

--------------------

<!-- OOZIE -->

<property>

<name>hadoop.proxyuser.[youname].hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.brian.groups</name>

<value>*</value>

</property>

--------------------

把[youname]替换成你的当前用户名。

然后启动Hadoop。

4. 官档提到要把oozie-3.3.0目录下hadooplibs tar.gz解压缩,但如果你的系统已经安装hadoop了,编译的时候不会生成这个文件,这一步可以忽略。

5. 创建oozie-3.3.0/libext目录。下载http://extjs.com/deploy/ext-2.2.zip放到这个目录,不需要解压,再把主机上hadoop-1.1.2的几个主jar文件复制到这个目录,也就是:

---------------------------

hadoop-client-1.1.2.jar hadoop-examples-1.1.2.jar hadoop-test-1.1.2.jar

hadoop-ant-1.1.2.jar hadoop-core-1.1.2.jar hadoop-minicluster-1.1.2.jar hadoop-tools-1.1.2.jar

---------------------------

6. 在oozie-3.3.0目录下,运行‘./bin/oozie-setup.sh‘,执行安装步骤。

7. 在oozie-3.3.0目录下,运行‘./bin/ooziedb.sh create -sqlfile oozie.sql -run‘,创建数据库。

8. 在ooize-3.3.0目录下,运行‘./bin/oozie-start.sh‘,启动oozie。

9. 在ooize-3.3.0目录下,运行‘./bin/oozie admin -oozie
http://localhost:11000/oozie
-status‘,检查oozie是否启动成功,正常情况下,输出值是normal。

10.在ooize-3.3.0目录下,解压缩oozie-sharelib-3.3.0.tar.gz,得到一个目录share,用‘hadoop fs -put share share‘将它放到hdfs上。

11.在ooize-3.3.0目录下,解压缩oozie-examples.tar.gz,得到目录examples。修改examples/apps/mao-reduce/jobproperties文件的前两句,替换成:

------------

nameNode=hdfs://localhost:9000

jobTracker=localhost:9001

------------

这是下一步要运行的demo,修改namenode和jobtracker的配置,默认值不对。

然后将examples目录也put到hdfs上。

12. 在oozie-3.3.0目录下,运行‘./bin/oozie job -oozie
http://localhost:11000/oozie
-config examples/apps/map-reduce/job.properties -run‘,注意端口号是11000,官档是8080,参数不对。执行后,输出hadoop jod id,形如‘0000000-140826104216537-oozie-cke-W’

13. 根据job id检查运行结果‘./bin/oozie job -oozie
http://localhost:11000/oozie
-info 0000000-140826104216537-oozie-cke-W‘,看到success即表明成功。

14. 显示运行结果:‘hadoop fs -cat examples/output-data/map-reduce/part-00000‘

流程是完整的,步骤是最简的,解释是忽略的 :),每一步的具体解释请参考官档。

时间: 2024-08-27 13:34:18

apache oozie安装试用的相关文章

驭象者之Apache Oozie

(1)Apache Oozie是什么? Oozie在英语中的释义指的是:驯象人,驭象者(多指缅甸那边的俗称),这个比喻相对与它的功能来说,还是很恰当的. Apache Oozie是一个用来管理Hadoop任务的工作流调度系统,是基于有向无环图的模型(DAG).Oozie支持大多数的Hadoop任务的组合,常见的有Java MapReduce,Streaming map-reduce,Pig,Hive, Sqoop , Distcp,也可以结合一些脚本如Shell,Python,Java来很灵活的

Apache CouchDB安装及入门 &nbsp;

1. 从Apache CouchDB官网下载最新的版本,目前最新版本为1.6.1. 2. 运行"setup-couchdb-1.6.1_R16B02.exe"文件,并将couchdb设置为Windows服务,这样就不用每次都启动服务. 3. 在浏览器中运行"http://127.0.0.1:5984",出现下面的内容说明安装成功. {"couchdb":"Welcome","uuid":"4f58

apache编译安装

实验环境: centos6.3 2.6.32-431.20.3.el6.i686 用到的包: APR 1.5.1 APR-util 1.5.3 httpd-2.4.9 操作步骤: 第一步:根据依赖关系,先解压.编译安装apr1.5.1 # tar xf apr-1.5.1.tar.bz2 -C /home # cd /home/apr-1.5.1 # ./configure --prefix=/usr/local/apr # make && make install 第二步:解压.编译安装

linux 下apache的安装

一.从apache官网上下载apache的安装包 下载apr和apr-util安装包,解压到apache的srclib目录,apache从2.4?开始把这个两个模块剥离 进入apache解压目录,./configure  --with-included-apr  --enable-so make make intall 二.写了一个简单的页面测试,但是发现html引用的图片(其他资源应该会有同样问题)被禁止访问,设了相关权限和配置仍没有效果 最后想到是不是selinux导致,把selinux禁用

Linux下查看mysql、apache是否安装,安装,卸载等操作

Linux下查看mysql.apache是否安装,并卸载. 指令 ps -ef|grep mysql 得出结果 root     17659     1  0  2011 ?        00:00:00 /bin/sh /usr/bin/mysqld_safe --datadir=/var/lib/mysql --socket=/var/lib/mysql/mysql.sock --log-error=/var/log/mysqld.log --pid-file=/var/run/mysql

Apache的安装与配置

apahce的特点 功能强大.配置简单.速度快.应用广泛.性能稳定可靠,并可做代理服务器或负载均衡来使用 应用场合. 使用Apache运行静态HTML网页.图片(处理静态小文件能力不及Nginx): 使用Apache结合PHP引擎运行PHP.Perl等程序,LAMP被称为经典组合: 使用APache结合Tomcat.Resin运行JSP,Java等程序,成为中小企业的首选: 使用Apache作代理.负载均衡.rewrite规则过滤等等. Apache的安装: 版本:Apache 2.2.2 系统

Apache 的安装

1.获取源码包 cd /usr/local/src/ ls wget http://mirrors.cnnic.cn/apache/httpd/httpd-2.4.25.tar.gz 2.解压.编译.安装 tar zxvf httpd-2.4.25.tar.gz cd httpd-2.4.25 cat INSTALL    ##查看安装步骤 ./configure --prefix=/usr/local/apache      --enable-rewrite=shared      --ena

apache扩展模块安装

因为需求,所以我要安装一个扩展模块,该扩展模块名为mod_headers,那应该怎样去添加扩展模块呢? 首先,添加扩展模块要用到的工具是:/usr/local/apache2/bin/apxs 也就是Apache的安装路径下的目录中 首先,去你下载的源码包目录中.就是你刚开始安装Apache的时候(./configure的时候),该源码包看你放在哪,一般是在/usr/local/src/目录下的 #cd  /usr/local/usr/ 之后在当前目录下查找mod_headers.c文件放在哪?

Apache源文件安装

一.Apache源文件安装的依赖文件安装 #  yum -y install gcc cc cl                                                              #编译器依赖文件 #  yum -y install zlib-devel pcre pcre-devel apr apr-devel    #编译依赖的一些库文件 二.在http://mirrors.cnnic.cn/apache/官网中下载最新版Apache的httpd文件及