CentOS7安装CDH 第十一章:离线升级CDH版本

相关文章链接

1. 升级概述

1、CM(cloudera manager)升级概述:

  CM的安装是使用rpm包的安装,详情请看上述CM的安装,所以升级的时候也是rpm包的升级即可。

2、CDH升级概述:

  CDH的安装是使用离线的Parcel包安装的,所以也使用Parcel来升级,需要先将Parcel包离线下载下来。

2. 升级中需要注意的地方

1.在生产环境中升级一定要注意记得备份数据库HDFS

2.当对python进行升级时候会发现yum源不能使用,可以进行如下操作:

  a) 当对python升级之后,是因为没有一个模块module,所以导致yum不能使用(即当前python里找不到yum源模块),此时可以将python重新指向升级之前的文件,就可以使用了。

  b) 具体操作如下:

    

    修改如下位置:

    

    执行清理yun源的操作就可以正常使用了:yum clean all

3.在升级过程中,有可能遇到文件没有下载失败(即在下载、分配那一个界面失败)的情况,如下图所示,此时可以采取如下操作(以升级CDH5.16为例):

  

  a) 找到对应机器,执行如下命令,进入到相应的文件夹中,再查看该目录下的所有文件(包括隐藏文件),可以看到一个.flood文件夹,这是下载和解压所用的文件夹,根据具体情况对其中的CDH5.16的包进行删除:

    cd /opt/cloudera/parcels

    ll -a

  

  b) 执行如下命令,要保证磁盘空间充足,在对CDH5.16进行升级时,磁盘至少需要7G以上的空间,不然会失败,有如下异常,以后根据CDH的版本更新,有可能需要的空间更多(这方面可以询问运维):

    异常:Src file /opt/cloudera/parcels/.flood/CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel/CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel does not exist

    查看磁盘的命令:df -h

  c) 可以查找flood进程,然后kill掉,重启agent服务,去web界面安装:

    ps -ef | grep flood

    kill -9 进程号(可以直接使用如下命令解决:kill -9 $(pgrep -f flood))

    service cloudera-scm-agent restart

  d) 查看日志方式:

    cd /var/log/cloudera-scm-agent/

    tail -f cloudera-scm-agent.log

    也可以先清空日志(echo "" > xxx.log),然后运行服务,看报什么错,

    再直接使用sz命令,将日志发送到windows中进行查看

3. CM(cloudera manager)升级

1.下载cm的tar包和CDH的parcels包,并将这些包上传到/var/www/html目录下,此过程可以参考上述CDH离线安装中的过程,完成之后能在浏览器上看到如下界面:

  

2.检查 /etc/yum.repos.d/cloudera-manager.repo 中的yum源是否设置正确,如果其中最后是5,就不需要修改,因为在解压的cm包中有软连接,如下图:

  

   

  请注意:上述的yum源,是所有机器都要检查,都要一致,保证其它机器能从cm机器上下载到CM的安装包。

  此时将parcels的地址配置到CDH的Parcel配置中,会出现如下错误:

    

  这时需要先将CM升级之后,才能升级CDH,直接去升级CM就可以了。

3.关闭CDH集群中各个服务和CM服务

  

4.关闭集群中各个机器的server和agent服务和数据库服务

  # 停止服务命令

  service cloudera-scm-agent stop

  service cloudera-scm-server stop

  service mysqld stop(由于本集群是使用mysql数据库,所以关闭mysql)

  # 数据库备份命令,以下以cmf数据库为例,其它数据库也要备份

  mysqldump -uroot -p123456 cmf > /tmp/cmf20171015.sql

  mysql -uroot -p  cmf < /tmp/cmf20171015.sql

5.升级cm机器的server+agent

  [[email protected] ~]# yum clean all

  [[email protected] ~]# rpm -qa ‘cloudera-manager-*‘

  [[email protected] ~]# yum upgrade ‘cloudera-*‘

  [[email protected] ~]# rpm -qa ‘cloudera-manager-*‘

6.升级集群其他机器的agent

  [[email protected] ~]# yum clean all

  [[email protected] ~]# rpm -qa ‘cloudera-manager-*‘

  [[email protected] ~]# yum upgrade ‘cloudera-*‘

  [[email protected] ~]# rpm -qa ‘cloudera-manager-*‘

7.启动集群机器的 db,server,agent

  service mysqld start

  service cloudera-scm-agent start

  service cloudera-scm-server start

8.登录web的7180界面,进行CM服务的启动操作:

  登录页面之后发现如下页面显示,点击运行Host Inspector进行主机检查,检查之后点击显示检查结果,会发现有大页面的提示,此时参照上述CDH安装章节的大页面解决方案,解决完大页面。

  

  解决大页面之后发现如下界面,点击启动CM的服务:

  

  启动CM服务之后会进入升级向导界面,依次点击下一步即可:

  

9.CM升级成功:

  

4. CDH集群升级

1、检查Parcel中的本地url是否配置好:

  

2、在CDH的主界面的Cluster上点击升级集群按钮:

  

3、选择已配置好的离线Parcel的版本,并进行主机检查(主机检查可能会有大页面和swap等警告,可以参照上述CDH安装章节处理或百度),然后勾选已执行上述的复选框,再点击继续按钮:

  

  

4、会进行下载,分配和解压等操作,等执行完点击继续按钮:

  

5、选择完整集群重启升级,但此操作会重启集群上所有服务:

  

6、会对集群上的所有服务进行安装和启动:

  

7、升级成功:

  

8、在升级CDH之后有可能出现oozie的内部版本和共享库版本不匹配,此时可以在oozie服务上重新安装共享版本,如下所示:

  

  停止oozie服务:

  

  安装oozie共享库:

  

  重新启动oozie:

  

原文地址:https://www.cnblogs.com/yangshibiao/p/10869806.html

时间: 2024-11-06 03:45:49

CentOS7安装CDH 第十一章:离线升级CDH版本的相关文章

CDH 5.16.1 离线部署 &amp; CDH 部署 Hadoop服务

参考 Cloudera Enterprise 5.16.x Installing Cloudera Manager, CDH, and Managed Services Installation Path B - Manual Installation Using Cloudera Manager Packages 一. 环境 1.1 系统节点信息 Hostname IP CPU(cores) Memory(GB) OS Service Remark master 172.30.200.75 2

[linux]centos7.4上升级python2版本到python3.6.5 【安装双版本,默认python3】

版本声明 centos7.4 前言:linux上的python默认是版本2的,之前学django项目用的是3的版本 所以得升级下版本~ 1.下载python3.6.5 cd /usr/local/ wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz tar -xvf Python-3.6.5.tgz 解压后 目录更名为 mv Python-3.6.5 python36 2.安装,目录设置自己解压的 ./configure -

centos7上Jenkins通过rpm包方式直接安装及使用war包方式升级

一.通过rpm包方式直接安装jenkins 1.官网下载rpm安装包(前提是安装jdk) wget https://pkg.jenkins.io/redhat-stable/jenkins-2.121.2-1.1.noarch.rpm rpm -ivh jenkins-2.121.2-1.1.noarch.rpm 2.查看相关文件路径 3.启动 启动失败,根据提示发现如下报错 该报错是因为在管理脚本的定义路径下找不到java命令,先查看java命令的路径,然后在管理脚本中添加现java命令路径即

CentOS7安装iptables防火墙

CentOS7默认的防火墙不是iptables,而是firewalle. 安装iptable iptable-service #先检查是否安装了iptables service iptables status #安装iptables yum install -y iptables #升级iptables yum update iptables #安装iptables-services yum install iptables-services 禁用/停止自带的firewalld服务 #停止fir

Centos7 安装配置OpenLdap服务及OpenLdap管理工具

我们上一篇文章中介绍了,Centos7+Openvpn使用Windows AD(LDAP)验证登录的配置介绍.说到LDAP服务,我们知道不止windows有,linux下也有,比如openldap,sambaLDAP服务,具体就不多介绍了,我们今天主要介绍一下Centos7 安装配置OpenLdap及Ldap管理工具等操作,为后面的Centos7+Openvpn+openldap验证登录做好基础. 我们首先配置一个指定源,我们源地址指向了阿里云的仓库源 cd /etc/yum.repos.d v

CentOS7安装配置iptables防火墙

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/50779761 CentOS7默认的防火墙不是iptables,而是firewalle. 安装iptable iptable-service [plain] view plain copy #先检查是否安装了iptables service iptables status #安装iptables yum install -y iptables #升级iptables yum upd

zabbix专题:第十一章 zabbix proxy分布式监控配置

zabbix专题:第十一章 zabbix proxy分布式监控配置             对Linux有兴趣的朋友加入QQ群:476794643 在线交流 本文防盗链:http://zhang789.blog.51cto.co zabbix proxy分布式监控配置 zabbix proxy可以代替zabbix server检索客户端的数据,然后把数据汇报给zabbix server,并且在一定程度上分担了zabbix server的压力.zabbix proxy可以非常简便的实现了集中式.分

Linux与云计算——第二阶段 第一十一章:代理Proxy服务器架设—Squid代理服务器正向代理和客户端配置

Linux与云计算--第二阶段Linux服务器架设 第一十一章:代理Proxy服务器架设-Squid代理服务器正向代理和客户端配置 安装Squid 安装Squid来配置代理服务器. [1] 这是一个通用的转发代理配置 [[email protected] ~]# yum -y install squid [[email protected] ~]# vi /etc/squid/squid.conf # line 26: 添加一条新的ACL acl lan src 192.168.96.0/24

java-第五章-while升级购物结算

最近发现MDT推出去的系统的有不同问题,其问题就不说了,主要是策略权限被域继承了.比如我们手动安装的很多东东都是未配置壮态,推的就默认为安全壮态了,今天细找了一下,原来把这个关了就可以了. java-第五章-while升级购物结算,布布扣,bubuko.com