HDP 2.2.4 Hue Oozie Editor生成workflow.xml的几点问题

本文原文出处: http://blog.csdn.net/bluishglc/article/details/45888279 严禁任何形式的转载,否则将委托CSDN官方维护权益!

如果你想让你手写的workflow.xml成功的倒入到Hue的Oozie Designer里,你需要注意如下几点:

  1. 关于chema的版本:oozie最高只能是0.4,hive-action最高只能是0.2, istcp-action最高只能是0.1!!
  2. 对于jobTracker和nameNode属性,hue的oozie designer生成的workflow.xml文件是hard code使用的!!也就是说:如果我手写的xml想要导入到oozie中,只能在workflow.xml文件使用${jobTracker}和${nameNode},而不可以直接写出它们对应的值以及自己定义的属性名!
  3. 关于路径一类的参数更是让人捉摸不定,比如有的地方接受${nameNode}为前缀的地址,而有的地方则不能正确解析以${nameNode}为前缀的地址! 下面的这段配置是由Oozie Editor生成的,我们可以看到,同样的HDFS路径,delete 和 mkdir 是以${nameNode}为前缀的,而arg则没有。随意修改这些地址格式有可能导致你的工作流无法被导入。
<prepare>
    <delete path="${nameNode}/home/hduser/export/ipam_db/ipam${year}${month}"/>
    <mkdir path="${nameNode}/home/hduser/export/ipam_db/ipam${year}${month}"/>
</prepare>
<arg>/apps/hive/warehouse/ipam.db/ipam${year}${month}/*</arg>
<arg>/home/hduser/export/ipam_db/ipam${year}${month}/</arg>

终上所述:

最好的做法是:先用Oozie Editor生成workflow.xml,然后再添加到工程中进行版本控制!

时间: 2024-10-12 14:16:50

HDP 2.2.4 Hue Oozie Editor生成workflow.xml的几点问题的相关文章

What&#39;s Wrong With Hue Oozie Editor?

本文原文出处: http://blog.csdn.net/bluishglc/article/details/47021019 严禁任何形式的转载,否则将委托CSDN官方维护权益! First, let's make the topic clear: Comparing with providing raw Oozie workflow/coordinator xml file, what's disadvantages to create workflow/coordinator with H

Hue - Oozie Editor: Retrying connect to server: localhost/127.0.0.1:8050 的错误解决方法

本文原文出处: 严禁任何形式的转载,否则将委托CSDN官方维护权益! 问题描述 在当前版本的HUE(2.6.1-2)里,oozie editor存在一个糟糕的BUG: 用户无法在workflow的配置中指定${jobTracker}和${nameNode}的值,尽管我尝试了所有可以尝试的地方,但是当通过hue去submit(不是通过oozie的命令行)一个workflow时,${jobTracker}和${nameNode}的值都被无情的重置了!如果这两个属性的值刚好是正确的,那么自然相安无事,

#数据技术选型#即席查询Shib+Presto,集群任务调度HUE+Oozie

郑昀 创建于2014/10/30 最后更新于2014/10/31 一)选型:Shib+Presto 应用场景:即席查询(Ad-hoc Query) 1.1.即席查询的目标 使用者是产品/运营/销售运营的数据分析师: 要求数据分析师掌握查询SQL查询脚本编写技巧,掌握不同业务的数据存储在不同的数据集市里: 不管他们的计算任务是提交给 数据库 还是 Hadoop,计算时间都可能会很长,不可能在线等待: 所以, 使用者提交了一个计算任务(PIG/SQL/Hive SQL),控制台告知任务已排队,给出大

[转]hibernate在eclipse的逆向工程生成hbm.xml和bean类

原文地址:http://www.xuebuyuan.com/210489.html 以前一直用myelipse,在myeclipse做hibernate逆向工程倒是很顺手了. 可是最近改用eclipse了,开始是不会装eclipse插件,折腾了几天终于装下去了,可是又不会用病逆向工程 终于在一国外网站上终于找到了: http://iablog.sybase.com/paulley/2009/02/reverse-engineering-sql-anywhere-with-hibernate-to

【转】Android项目使用Ant打包,生成build.xml

记不住,于是原帖转过来,请看原帖:http://blog.csdn.net/ms03001620/article/details/8490238 一.生成build.xml Eclipse中使用Ant为Android打包并且签名 SDK自带文件 在<sdk>tools/ant目录下这3个文件 其中build.xml和uibuild.xml中定义了大量基础构建方法和打包策略.我们只需要建立我们自己的build.xml并且存放在项目的根目录下,然后引用一下<sdk>tools/ant/

sitemap.xml 静态和动态生成页面 shopnc二次开发 动态生成sitemap.xml

Sitemap 可方便网站管理员通知搜索引擎他们网站上有哪些可供抓取的网页.最简单的 Sitemap 形式,就是XML 文件,在其中列出网站中的网址以及关于每个网址的其他元数据(上次更新的时间.更改的频率以及相对于网站上其他网址的重要程度为何等),以便搜索引擎可以更加智能地抓取网站. 目前有两种格式 一.Google SiteMap <urlset xmlns=“网页列表地址”> <url> <loc>网址</loc> <lastmod>2005

Maven自动生成web.xml配置文件

没有这个文件会报错误的: 1. 2.在Maven下面设置这个:  src/main/webapp OK生成了

TSharding源码阅读-MapperShardingInitializer之生成mapper xml

/** * 增强Mapper处理总入口:Mapper被mybatis初始化后,在这里做进一步的处理和增强 * * @author qigong on 5/1/15 */ public class MapperShardingInitializer implements ApplicationContextAware { Logger logger = LoggerFactory.getLogger(getClass()); private String needEnhancedClasses;

java生成解析xml的另外两种方法JAXB

JAXB(Java Architecture for XML Binding) 是一个业界的标准,是一项可以根据XML Schema产生Java类的技术.该过程中,JAXB也提供了将XML实例文档反向生成Java对象树的方法,并能将Java对象树的内容重新写到XML实例文档.从另一方面来讲,JAXB提供了快速而简便的方法将XML模式绑定到Java表示,从而使得Java开发者在Java应用程序中能方便地结合XML数据和处理函数. JAXBContext 类提供到 JAXB API 的客户端入口点.