【Oozie】 Oozie常用命令行命令

Oozie命令行常用命令汇总。

有时候脚本跑多了就不愿意在OozieWeb端去看脚本的运行情况了。还好Oozie提供了很多命令行命令。能通过命令行直接检索自己想看到的脚本信息。在这里简单进行一下总结。一般都是自己每天常用的。

1. 将一个job挂起:oozie job -suspend [jobID]

oozie job –suspend 0000244-140909170015500-oozie-hado-W

2. 恢复被挂起的job:oozie job -resume [jobID]

oozie job –resume 0000244-140909170015500-oozie-hado-W

这两个命令适用于将脚本暂停时使用。

3. 将一个job提交给Oozie(不运行,提交上去之后如果所有运行条件都满足会处于PREP状态):oozie job -config ./job.properties -submit

oozie job -config./job.properties –submit

4. 启动提交给Oozie的job:oozie job -start [jobID]

oozie job -start0000258-140909170015500-oozie-hado-W

这两个命令也是一组。eg:有些脚本是操作数据库中数据的,但是数据由于某种原因延迟了,那么就可以将脚本先提交上去。然后等数据到了之后再重新启动。

5. 验证配置文件的正确性:oozie validate ./workflow.xml(coordinator.xml)

oozie validate workflow.xml

这个命令只能对xml格式的配置文件进行检测。job.properties中的错误是无法进行验证的。如果想验证三个配置文件的正确性,可以使用下面的命令。

6.预检命令:oozie job -config ./job.properties -dryrun

oozie job -config./job.properties –dryrun

补充一个rerun命令:oozie job -rerun [jobID] -action 1

oozie job -rerun0000001-140909170015500-oozie-hado-C -action 1

通过rerun命令可以重跑Coordinator的某一个批次。-action 后面的参数就是指重跑的是Coordinator调度中的第一个批次。

ps:  在使用rerun命令的过程中,我在HDFS上创建的一些标识文件夹(空文件夹,主要是通过这些文件夹来表明脚本是否运行结束)经常莫名的被删除。很多次了都没有找到具体的原因。后来我怀疑是使用rerun命令的原因。可能在使用rerun命令的时候Oozie会对脚本的外部环境进行一下恢复吧。这也仅仅是一个考虑,还没有找到相关的文档说明。遇到相关问题的可以告诉我一声。或者和我讨论
[email protected] ^-^

7.查看 job的日志:oozie job -log [jobID]

oozie job –log 0000145-140909170015500-oozie-hado-W

这个命令一般很少用。毕竟这里的log属于事务性的log。真的有问题还要去运行job的机器上去抓日志。

8. 查看job的workflow.xml定义:oozie job -definition [jobID]

oozie job -definition0000244-140909170015500-oozie-hado-W

9.根据job的类型查看job: oozie jobs -jobtype wf(coordinator)

oozie jobs -jobtype wf

10. 利用过滤器查看job:oozie jobs  -filter <arg> user=<U>;name=<N>;group=<G>;status=<S>;

oozie jobs -filter user=hadoop;name=LiMingji-2b;status=SUCCEEDED

这个命令是最使用的命令。这样每天就可以通过这个命令过滤掉执行成功的job。让我们专注于失败的job。然后定位问题。

而且这个命令可以和一些其他命令进行组合使用。例如:

oozie jobs -localtime -len 2 -filter status=SUCCEEDED

其余的一些命令用处不是很大的例如查看oozie 版本的命令,就没有在这里列举。

如果大家还有一些常用的命令,lz没有提到,欢迎进行补充。    [email protected]

李洺吉

东信北邮/数据业务产品中心/商业智能部

手机:18001214581   电话:[email protected]

北京市海淀区知春路9号坤讯大厦七一九层

时间: 2024-11-10 05:34:22

【Oozie】 Oozie常用命令行命令的相关文章

system调用命令行命令而不显示命令行窗口

system调用命令行命令而不显示命令行窗口 通常用system调用命令行命令时都会弹出黑底白字的命令行窗口,下面的代码可以不显示弹出的命令行窗口. 代码如下 1 #pragma comment( linker, "/subsystem:/"windows/" /entry:/"mainCRTStartup/"" ) // 设置入口地址 2 #include <windows.h> 3 #include <stdio.h>

MySql命令行命令和SQL语句

一.常用mysql命令行命令 1.启动MYSQL服务 net start mysql 停止MYSQL服务 net stop mysql 2.netstat -na|findstr 3306 查看被监听的端口,findstr用于查找后面的端口是否存在 3.在命令行中登录MYSQL控制台,即使用MYSQL COMMEND LINE TOOL 语法格式 mysql -user=root  -password=123456  db_name 或者简写格式 mysql -uroot -p123456 db

vim基础命令(2)-命令行命令

命令行命令-<:normal>这个命令可以重复上一个操作.他其实就跟.命令的效果查不到.不同的是,他可以把.的效果,作用于你用可视模式下的多行.例如,如果你想在下面的文字里在每一行加一个;号,那么你可以使用如下的方法aaaaabbbbccddddd光标在第一行,A;<Esc>,然后<Ctrl-v>G,最后在:normal .就行了.当然,在可是模式下,你使用命令行,会发现命令行的格式如下:<,'>它表示的是选中的行.当然,我们也可以把上面的那个.命令,变更为

Android开发执行adb 命令行命令

1.在Android开发中调用adb命令进行应用安装,将应用安装到 /system/app目录下 /** * install the app in use adb command,this style is silent * */ private void adbInstallTheAPP(){ //adb push core code String command = "cp" + "the android apk file path" + "/syst

linux 中c/c++实现终端命令行命令

在终端中可以从用下面命令获得帮助: man system 在c/c++代码中实现和在终端中输入的命令行一样的效果,以命令(audacious -p &)为例,该代码实现用audacious在后台播放音乐的功能,当然前提是安装了audacious. c++代码: 1 #include <cstdlib> 2 int main() 3 { 4 system("audacious -p &"); 5 return 0; 6 } 编译执行即可. linux 中c/c

13_05_命令行命令

1. Linux 和 Unix 还是有点不一样,不知 是否和 CentOS 有关系?我现在是在 CentOS6.4(32位)下, 命令行命令 应该是这样: 1.1. ./shmCreateZ /zshm 123456 ZC: 这里的文件名只能是 /文件名  的形式,不能是 /??/文件名 的形式.然后,文件 自动会创建在 /dev/shm 目录下 1.2. ls -l /dev/shm/zshm od -c /dev/shm/zshm 1.3. ./shmWriteZ /zshm 1.4. od

git命令行命令(1)

我们知道git是分布式的版本库,也就是本地仓库里面包含了开发的所用内容,每个人都是本地版本库的主人,包括历史记录.文件内容.即使没有和远程代码库交换依旧可以提交内容到本地仓库,然后git push到远程仓库.可以使用git $commit --help查看每个命令的html帮助文档,例如git init --help 一. 创建本地仓库 git init可以在本地创建一个空的本地仓库.其常用命令行如下,git init [-q | --quiet] [--bare] [directory] -q

F5负载均衡 简要原理解析以及命令行命令

F5重点剖析原理配置维护 一.F5是什么,它能解决什么问题? 二.F5 BIG-IPLTM 硬件介绍 三.F5的工作原理和相关名词术语 四.门户网站负载均衡配置的分析 1.首先我们应该了解一个名词:ADN ADN(Application Delivery Networks )--应用交付网络:旨在把数据中心的应用和业务快速.安全.高可用地交付到客户端.F5就是实现这种解决方案的一系列产品. 2.具体描述 F5是一种网络性能优化设备,工作在网络的四层或七层.它不同于交换机.路由器这些基础网络设备,

调用cmd命令行命令(借鉴)

留待以后观看 ---------------------------------------------------------------------------- public class IP_MAC_TypeHelper { /** * 控制台执行arp -a命令 * * @return * */ public static InputStream getInputStream() { Runtime rt = Runtime.getRuntime(); InputStream in =