hadoop集群 动态添加或删除节点

在运行中的ambari hadoop集中中动态添加或删除节点

1. 下线hdfs节点

1) 下线datanode

namenode节点上dfs.exclude文件,看配置文件怎么配置的,里每行添加一个服务器名,如我要下线server7,server8,server9,则如下:

server7

server8

备注:

如果hdfs-site.xml没有找到dfs.hosts.exclude,那么就手动把下面内容加入到hdfs-site.xml中,然后把需要Decommission的机器写到文件/etc/hadoop/conf/dfs.exclude中去。

<property> <name>dfs.hosts.exclude</name> <value>/etc/hadoop/conf/dfs.exclude</value> </property>

2) 选择任意一台节点执行:

(如果要加速下线 可以先把集群块的复制个数减少,再执行下线(导致数据迁移))

hdfs dfsadmin -refreshNodes

3) 上面刷新后 可以查看下线进度

可以通过

hdfs dfsadmin -report

或者web界面查看该datanode状态转为Decommission In Progress。

下线会把该节点的数据拷贝到其他节点上去

如果节点上数据比较多,下线会比较慢,等待。

当datanode完成数据迁移时,姿态会变为Decommissioned,继续下面操作

4) 这一步:没有试过,不知道真假

下图状态其实已退役完全(block 转移结束),后续hadoop会自动删除datanode上的数据,也可以直接停掉datanode,手动删除数据

5)停止已经下线的datanode节点,然后删除该节点(该节点数据已经被迁移到其他节点)

6) 删除dfs.exclude中下线节点的hosts(在配置文件中),重新刷新:

hdfs dfsadmin -refreshNodes

7)刷新后,确认已经清楚了下线该节点的配置

在hdfs的管理台页面可以看见 Decommission的节点应该不包含上面已经完成了下线的节点

hadoop dfsadmin -report:也可以查看

7) 删除slaves中下线节点的hosts

---------------------------------------------------------------------------------------

2. 下线yarn节点

1) 下线yarn节点

resourcemanager节点上yarn.exclude文件里每行添加一个服务器名,如我要下线server7,server8,server9,则如下:

server7

server8

备注:下线tasktracker or nodemanager(过程与下线datanode类似,以下列举不同点)

A、添加(或修改)如下配置项到mapred-site.xml

  1. <property>
  2. <name>mapred.hosts.exclude</name>
  3. <value>mrhosts.exclude</value>
  4. </property>

2) 选择任意一台节点执行:

(如果要加速下线 可以先把集群块的复制个数减少,再执行下线(导致数据迁移))

yarn rmadmin -refreshNodes

yarn node -list #查看

3)若没启用yarn,即下线tasktracker时执行:

hadoop mradmin -refreshNodes

---------------------------------------------------------------------------------------

4. 上线节点

上线节点基本与下线相同

1) slaves文件里每行添加一个上线服务器名,同时保证dfs.exclude文件为空。

2) ./hdfs dfsadmin -refreshNodes

3) 在要上线的节点上启动datanode:

./hadoop-daemon.sh start datanode

4) 如需要启动nodemanager,则执行:

./yarn-daemon.sh start nodemanager

5) 修改slaves,添加上线节点的hosts

原文地址:https://www.cnblogs.com/double-kill/p/9032895.html

时间: 2024-11-03 21:26:24

hadoop集群 动态添加或删除节点的相关文章

Hadoop概念学习系列之Hadoop集群动态增加新节点或删除已有某节点及复制策略导向

hadoop-2.6.0动态添加新节点 https://blog.csdn.net/baidu_25820069/article/details/52225216 Hadoop集群动态增加新节点 一.在新增节点配置运行环境 1.安装和其他节点相同的java环境,jdk版本要相同. 2.修改/etc/hosts配置文件,添加ip与hostname的对应关系并分发到集群各个节点. 3.关闭防火墙.相关软件工具的安装等. 4.配置ssh免密码登录,使新增节点和集群其他节点能实现免密码登录. 5.修改s

Hadoop集群动态扩容、缩容

一. Hadoop集群动态扩容.缩容 随着公司业务的增长,数据量越来越大,原有的datanode节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点.也就是俗称的动态扩容. 有时候旧的服务器需要进行退役更换,暂停服务,可能就需要在当下的集群中停止某些机器上hadoop的服务,俗称动态缩容. 1. 动态扩容 1.1. 基础准备 在基础准备部分,主要是设置hadoop运行的系统环境 修改新机器系统hostname(通过/etc/sysconfig/network进行修改)

Hadoop集群hdfs添加磁盘操作

Hadoop集群hdfs添加磁盘操作 目前的环境是cdh.服务器部署在Azure:一个cdhmaster(一个namenode,一个datanode),四个cdhslave节点(各一个datanode). hdfs现状: 首先是在Azure控制台对每台服务器添加一块磁盘(我这添加的是4T) 在到服务器中对每台服务器进行添加磁盘操作: 因为在Linux中,常用2种分区表: MBR分区表(即主引导记录) 所支持的最大分区:2T,而且对分区有限制:最多4个主分区或3个主分区加一个扩展分区 [fdisk

Oracle12.2 RAC集群管理之增加删除节点_Oracle12cR2视频教程(项目实战之六)

一.课程主题 风哥Oracle数据库教程12cR2(项目实战之六):基于Linux操作系统的Oracle12.2 RAC集群的管理之增加删除节点(rac node add,rac node delete). Oracle12.2 RAC集群管理之增加删除节点_Oracle12cR2视频教程(项目实战之六) http://edu.51cto.com/course/10245.html 二.项目需求 由于业务需求,需要在原有一套ERP核心系统的RAC集群中增加或删除一个节点. 三.实施步骤 01.O

Hadoop集群中添加硬盘

Hadoop工作节点扩展硬盘空间 接到老板任务,Hadoop集群中硬盘空间不够用,要求加一台机器到Hadoop集群,并且每台机器在原有基础上加一块2T硬盘,老板给力啊,哈哈. 这些我把完成这项任务的步骤和我遇到的问题和解决方法总结一下,分享给大家. 1.    首先,介绍一下用到的基本命令和配置,如果本文的网友时间比较紧,可以直接跳过部分内容,直接看“2.   如何加载新硬盘”部分. (1)命令fdisk 语法: fdisk [-b sectorsize] device fdisk -l [-u

Hadoop集群大数据平台搭建

Hadoop集群环境搭建配置 前言 Hadoop的搭建分为三种形式:单机模式.伪分布模式.完全分布模式,只要掌握了完全分布模式,也就是集群模式的搭建,剩下的两种模式自然而然就会用了,一般前两种模式一般用在开发或测试环境下,Hadoop最大的优势就是分布式集群计算,所以在生产环境下都是搭建的最后一种模式:完全分布模式. 硬件选择 须知: 分布式环境中一个服务器就是一个节点 节点越多带来的是集群性能的提升 一个Hadoop集群环境中,NameNode,SecondaryNameNode和DataNo

Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS

摘自:http://www.powerxing.com/install-hadoop-cluster/ 本教程讲述如何配置 Hadoop 集群,默认读者已经掌握了 Hadoop 的单机伪分布式配置,否则请先查看Hadoop安装教程_单机/伪分布式配置 或 CentOS安装Hadoop_单机/伪分布式配置. 本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop 2.7.1 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,保证按照步骤来,都能顺利安装并运行 Ha

Hadoop集群选择合适的硬件配置

为Hadoop集群选择合适的硬件配置 随着Apache Hadoop的起步,云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件. 尽管Hadoop被设计为运行在行业标准的硬件上,提出一个理想的集群配置不想提供硬件规格列表那么简单. 选择硬件,为给定的负载在性能和经济性提供最佳平衡是需要测试和验证其有效性.(比如,IO密集型工作负载的用户将会为每个核心主轴投资更多). 在这个博客帖子中,你将会学到一些工作负载评估的原则和它在硬件选择中起着至关重要的作用.在这个过程中,你也

深入理解Hadoop集群和网络

导读:云计算和Hadoop中网络是讨论得相对比较少的领域.本文原文由Dell企业技术专家Brad Hedlund撰写,他曾在思科工作多年,专长是数据中心.云网络等.文章素材基于作者自己的研究.实验和Cloudera的培训资料. 本文将着重于讨论Hadoop集群的体系结构和方法,及它如何与网络和服务器基础设施的关系.最开始我们先学习一下Hadoop集群运作的基础原理. Hadoop里的服务器角色 Hadoop主要的任务部署分为3个部分,分别是:Client机器,主节点和从节点.主节点主要负责Had