CDH版本升级

  近期项目中需要用oozie workflow调度hivesql,发现无法执行查询语句,见:https://community.cloudera.com/t5/Batch-Processing-and-Workflow/Oozie-Hive-action-failed-with-wrong-tmp-path/td-p/37443  由此得知,罪魁祸首是cdh的bug,需要将版本升级一下。

  升级步骤:

1、在一个节点上查询服务

service --status-all

发现只有cloudera-scm-agent,没有cloudera-scm-server,说明这不是主节点。

2、查看cloudera的主节点

cat /etc/cloudera-scm-agent/config.ini

查找server_host的值,这就是服务端安装的主节点,在主节点上登录。

3、查看CM依赖的数据库

cat /etc/cloudera-scm-server/db.properties

4、备份CM数据

pg_dump -U scm -p 7432   > scm_server_db_backup.bak

其中scm是依赖的数据库名,密码见第3步中的结果。检查/tmp下是否有文件生成,期间保证tmp下文件不要被删除。

5、停止CM server :

sudo service cloudera-scm-server stop

停止CM server依赖的数据库:

sudo service cloudera-scm-server-db stop

如果这台CM server上有agent在运行也停止:

sudo service cloudera-scm-agent stop

其中,cloudera-scm-server-db服务停止失败,查询服务状态发现如下:

pg_ctl: server is running (PID: 1713)
/usr/bin/postgres "-D" "/var/lib/cloudera-scm-server-db/data"

cd /var/lib/cloudera-scm-server-db/data
rm postmaster.pid

http://blog.puneethabm.in/cloudera-scm-server-db-pg_ctl-server-does-not-shut-down/

6、查看yum的 cloudera-manager.repo文件需不需要修改

sudo vim /etc/yum.repos.d/cloudera-manager.repo

发现cloudera-manager版本较新,不需要升级cloudera-manager

7、升级

  sudo    yum clean all   sudo yum upgrade ‘cloudera-*‘ 

检查:

rpm  -qa ‘cloudera-manager-*‘

8、启动CM server 数据库:

sudo  service cloudera-scm-server-db start

启动失败!!

ps -l -ef | grep bin/postgres

查看DB进程,发现存在cloudera-scm-server-db的进程

#kill -9 [pid]

杀掉再启动服务,OK

启动CM server:

sudo  service cloudera-scm-server start

启动CM agent:

sudo  service cloudera-scm-agent start

最后,重新用oozie调hive,执行成功 !!

参考:

http://www.tuicool.com/articles/YVnu6v

http://www.aboutyun.com/thread-10856-1-1.html

时间: 2024-10-11 13:02:27

CDH版本升级的相关文章

cdh版本升级(5.14 -> 6.2)

我们的Cloudera Manager和cdh版本是5.14,现在公司需要升级到cdh6.2需要先升级Cloudera Manager,然后升级cdh. 1.Cloudera Manager升级 (参考https://www.cloudera.com/documentation/enterprise/upgrade/topics/ug_cm_upgrade.html)升级之前先确定linux的版本已经升级到Cloudera Manager6.2支持的版本 1.1备份 1.1.1备份Clouder

CDH 1、CDH简介

1.Apache Hadoop 不足之处 • 版本管理混乱 • 部署过程繁琐.升级过程复杂 • 兼容性差 • 安全性低 2.Hadoop 发行版 • Apache Hadoop • Cloudera’s Distribution Including Apache Hadoop(CDH) • Hortonworks Data Platform (HDP) • MapR • EMR • … 3.CDH能解决哪些问题 • 1000台服务器的集群,最少要花费多长时间来搭建好Hadoop集群,包括Hive

CDH 离线安装部署

CDH相关介绍:  参考链接: https://blog.csdn.net/u013061459/article/details/73368929 https://www.cnblogs.com/raphael5200/p/5293960.html 为了构建一个以数据为驱动的业务场景,我们需要一个强大的管理工具去统一并安全地管理我们的业务数据,Cloudera做为一个强大的数据中心管理工具为此孕育而生.Cloudera不光提供了自己衍化重新封装的市场领先并100%开源的商业化Apache Had

MySQL版本升级

日常工作中,数据版本升级是常有的事,升级过程非常简单,但也容易忽视一些问题 1.大版本号和小版本号,使用在什么位(32/64)的系统上 2.或者5.1的默认使用区分大小写,若5.6使用不区分,这会导致APP找不到库的,所以需要注意 3.就是5.1到5.6升级没问题,但到5.7,有时候会提示: ERROR 1031 (HY000) at line 833: Table storage engine for 'histories' doesn't have this option 这是为什么呢?因为

ubuntu下docker安装与版本升级

ubuntu 下docker安装与版本升级 一.系统环境 系统:ubuntu-server 14.04 x86_64 内核:3.13.0-32-generic 二.Docker安装 --------------------------------------------------------------------------------- 要想安装最新版本的Docker需要使用Docker源来安装 $ sudo su - root # apt-get -y installapt-transp

跨平台开发,如何进行版本升级?

大家知道,在移动APP开发完毕后,为不短提高用户体验,以及解决一些莫名其妙的bug,总需要对应用进行版本升级.那么问题来了,跨平台开发APP时,怎样快速进行版本升级呢?或许,你需要找对一个同时兼具开发与升级功能的移动开发平台. AppCan开发平台提供的版本升级功能,可以帮助开发者轻松完成应用推送升级.取消升级和应用下架.具体操作如下: 1.推送升级: 进入应用管理界面,点击"推送升级"后进入到升级信息配置页面,升级地址默认为AppCan地址,开发者可以自己搭建升级服务器,将升级地址填

CDH搭建大数据集群

需要的软件包: flume-ng-1.5.0-cdh5.3.6.tar.gz hadoop-2.5.0-cdh5.3.6.tar.gz hive-0.13.1-cdh5.3.6.tar.gz kafka_2.9.2-0.8.1.tgz scala-2.11.4.tgz slf4j-1.7.6.zip spark-1.5.1-bin-hadoop2.4.tgz zookeeper-3.4.5-cdh5.3.6.tar.gz 安装hadoop包: 1.使用课程提供的hadoop-2.5.0-cdh5

CDH集群部署时遇到的问题

CDH:全称Cloudera’s Distribution Including Apache Hadoop CDH版本衍化hadoop是一个开源项目,所以很多公司在这个基础进行商业化,Cloudera对hadoop做了相应的改变. Cloudera公司的发行版,我们将该版本称为CDH(Cloudera Distribution Hadoop).截至目前为止,CDH共有5个版本,其中,前两个已经不再更新,最近的两个,分别是CDH4,在Apache Hadoop 2.0.0版本基础上演化而来的,CD

python版本升级及pip部署方法

Python版本升级 CentOS 6.3自带的Python版本为2.6,首先需要升级到2.7版本.由于旧版本的Python已被深度依赖,所以不能卸载原有的Python,只能全新安装. 1.下载Python-2.7.4.tgz wget http://python.org/ftp/python/2.7.4/Python-2.7.4.tgz 2. 解压安装,命令如下: 1 tar -xvf Python-2.7.4.tgz 2 cd Python-2.7.4 3 ./configure --pre