本文原文出处: 严禁任何形式的转载,否则将委托CSDN官方维护权益!
问题描述
在当前版本的HUE(2.6.1-2)里,oozie editor存在一个糟糕的BUG: 用户无法在workflow的配置中指定${jobTracker}和${nameNode}的值,尽管我尝试了所有可以尝试的地方,但是当通过hue去submit(不是通过oozie的命令行)一个workflow时,${jobTracker}和${nameNode}的值都被无情的重置了!如果这两个属性的值刚好是正确的,那么自然相安无事,但如果你在安装HUE时没有修改过相关的配置或是配置错误,你的workflow多半会卡在某个节点上执行不下去的。查看日志就会发现oozie一直在不停地尝试是连接jobTracker(resourceManager),而请求的地址是本身是错误的,所以一直得不到响应。
比如:HUE默认的配置里${jobTracker}的值是:http://localhost:8050, 如果发起请求的节点不是resourceManager(这很常见),那么log中就会出现大量的下列信息:
Retrying connect to server: localhost/127.0.0.1:8050.
解决方法
解决这个问题方法就是修改Hue中与${jobTracker}和${nameNode}相关的配置项的值,来彻底地修正错误。具体做法为:打开HUE的配置文件hue.ini, 找到以下两项,根据你的集群情况修改
fs_defaultfs=hdfs://your-namenode:8020
resourcemanager_rpc_url=http://your-resourcemanager:8050
时间: 2024-10-07 15:58:25