hadoop2.3.0cdh5.0.2 升级到cdh5.7.0

后儿就放假了,上班这心真心收不住,为了能充实的度过这难熬的两天,我决定搞个大工程。。。。。ps:我为啥这么期待放假呢,在沙发上像死人一样躺一天真的有意义嘛。。。。。。。

当然版本:hadoop2.3.0cdh5.0.2

机器:

  nn dn jn rm nm jh hmaster hregionserver
mast1  
mast2  
mast3      

目标版本:hadoop2.6.0cdh5.7.0

升级方式:Upgrading Unmanaged CDH Using the Command Line

升级注意事项:①从低于cdh5.4.0升级到cdh5.4.0或更高版本,需要进行hdfs元数据升级;

②从低于cdh5.2.0版本升级需要做如下升级:升级hdfs元数据

升级Sentry database

升级hive数据库

升级sqoop2数据库

③另外还要确保如下升级:升级Oozie数据库和共享数据库

如果向hdfs上传了spark集合jar文件,要上传文件的最新版本

升级步骤:

1.为升级做准备:

①使namenode进入安全模式,备份fsimage

[[email protected] conf]$ hdfs haadmin -getServiceState mast1

active

[[email protected] conf]$ hdfs dfsadmin -safemode enter

Safe mode is ON

[[email protected] conf]$ hdfs dfsadmin -saveNamespace

②确认无hadoop服务在运行

[[email protected] ~]# ps -aef|grep java

root       9540   8838  0 15:34 pts/0    00:00:00 grep java

③在namenode(ha中active的namenode)中备份元数据(注意过程中如果发现lock文件,则从头开始再执行一遍)

[[email protected] ~]# cd /app/hdp/dfs/name

[[email protected] name]# tar -cvf /root/nn_backup_data.tar .

./

./edits/

./edits/current/

./edits/current/edits_inprogress_0000000000000000624

./edits/current/edits_0000000000000000413-0000000000000000533

./edits/current/edits_0000000000000000620-0000000000000000621

./edits/current/edits_0000000000000000618-0000000000000000619

./edits/current/edits_0000000000000000062-0000000000000000180

./edits/current/edits_0000000000000000622-0000000000000000623

./edits/current/edits_0000000000000000038-0000000000000000050

./edits/current/edits_0000000000000000534-0000000000000000615

./edits/current/edits_0000000000000000181-0000000000000000182

./edits/current/edits_0000000000000000284-0000000000000000412

./edits/current/edits_0000000000000000051-0000000000000000061

./edits/current/seen_txid

./edits/current/edits_0000000000000000183-0000000000000000283

./edits/current/VERSION

./edits/current/edits_0000000000000000616-0000000000000000617

./current/

./current/fsimage_0000000000000000000

./current/seen_txid

./current/VERSION

./current/fsimage_0000000000000000000.md5

./namesecondary/

2.下载CDH 5 "1-click" repository

https://archive.cloudera.com/cdh5/one-click-install/redhat/6/x86_64/cloudera-cdh-5-0.x86_64.rpm

3.更新

时间: 2024-10-08 16:57:34

hadoop2.3.0cdh5.0.2 升级到cdh5.7.0的相关文章

探索Oracle之数据库升级二 11.2.0.3升级到11.2.0.4完整步骤

探索Oracle之数据库升级二  11.2.0.3升级到11.2.0.4完整步骤 说明:         这篇文章主要是记录下单实例环境下Oracle 11.2.0.1升级到11.2.0.3的过程,当然RAC的升级是会有所不同.但是他们每个版本之间升级步骤都是差不多的,先升级Database Software,再升级Oracle Instance. Oracle 11.2.0.4的Patchset No:19852360下载需要有Oracle Support才可以.  Patchset包含有7个

Oracle11.2.0.1升级到11.2.0.3

Oracle数据库升级也并非简单的事,这篇博客,博主对Oracle那点事做了较详细的介绍: http://blog.itpub.net/9599/viewspace-473003/ 我还属于Oracle的菜鸟,就不献丑介绍了. 下面我就简单总结下,Oracle同版本升级的经历: 升级数据库: 1. 先检查数据库当前版本: SELECT * FROM v$version; 2. 使用RMAN或exp 进行全库备份 [这一步非常非常重要,因升级到数据部分时,虚拟机没空间了,导致VM崩溃,升级失败.o

ORACLE 11.2.0.1升级到11.2.0.3

ORACLE 11.2.0.1升级到11.2.0.3 最近听了李光老师的关于oracle的升级公开课,深有感悟,之前一直想自己测试的,没有下定决心,这几天自己在虚拟机上测试了一下,测试的过程如下,当然这个只是一些基本的步骤,实际的生产环境我想比这个复杂的多了,但是不用急,慢慢来,循序渐进吧... 1. 数据库情况 单实例非ASM存储 ORACLE_SID : orcl ORACLE_HOME: /u01/app/oracle/product/11.2.0/dbhome_1 1. 数据库原始状态

Redhat 5.4 Orcle RAC 数据库 从10.2.0.1升级到 10.2.0.4

之前安装的是两个节点的RAC 平台. 数据库版本是10.2.0.1. 这个实验的目的就是将这个数据库版本从10.2.0.1 升级到 10.2.0.4.  升级包可以从Oracle metalink上进行下载,这个下载需要Oracle 付费的帐号. 网络可能也有资源下载. 10.2.0.4的patch number 是:p6810189. 两个节点的RAC 安装,参考Blog: Redhat 5.4 + ASM + RAW+ Oracle 10g RAC 安装文档 http://blog.csdn

Oracle 10g(10.2.0.4)升级到10.2.0.5.19

一.将数据库版本从10.2.0.4 升级到 10.2.0.5,再升级到10.2.0.5.19 (1) 备份等过程略过,一个老库的升级过程,记录之.   (2) 一致性关闭数据库及监听 sqlplus / as sysdba;   shutdown immediate    lsnrctl stop 二.升级数据库软件 1,解压p8202632_10205_Linux-x86-64.zip   2,直接采用安装方式安装,覆盖原安装目录 xhost+   su - oracle    cd Disk

11.2.0.3升级到11.2.0.4报错ORA-01157 ORA-01110

昨天晚上生产库要做升级,从11.2.0.3升级到11.2.0.4,但是遇到了ORA-01157 ORA-01110报错,数据库无法startup upgrade. 环境:HP-UX B.11.31+11.2.0.3+祼设备,数据库大小近8T 由于之前做过一次,也有现成的文档算是轻车熟路了,11.2.0.4软件和补丁已经提前打好,停完业务之前就开始做升级. 刚开始做检查都比较顺利,一直到RMAN备份完成.由于数据库数据量太大,采用把所有业务表空间置为read only状态,只备份系统相关表空间(S

oracle database 10.2.0.4 升级到 10.2.0.5

某发票开发测试库升级      升级前准备,此次升级只是很对测试环境数据库升级,所以没有事先一个月来获取系统,数据库的统计信息,机器性能比对 为了加快升级只是清理了以下信息 01.截断SYS.AUD$基表: SQL>TRUNCATE TABLE SYS.AUD$; 02.清理DBA回收站: SQL>purge DBA_RECYCLEBIN; 1.升级开始,升级前首先断开测试环境的中间件应用 查看本机的ORACLE_HOME [[email protected]_10 ~]$ echo $ORA

rac 10g 10.2.0.1升级到10.2.0.5具体解释

    RAC 10.2.0.1 升级到 10.2.0.5 一. 准备: Patch 包:p8202632_10205_LINUX.zip   节点数:3个节点       RAC1    RAC2   RAC3 当前节点状态 节点1: [[email protected] bin]# ./crs_stat -t Name          Type           Target    State    Host ---------------------------------------

rac 10g 10.2.0.1升级到10.2.0.5详解

    RAC 10.2.0.1 升级到 10.2.0.5 一. 准备: Patch 包:p8202632_10205_LINUX.zip   节点数:3个节点       RAC1    RAC2   RAC3 当前节点状态 节点1: [[email protected] bin]# ./crs_stat -t Name          Type           Target    State    Host ---------------------------------------