hdfs datanode通过添加数据盘扩容

最近,在生产环境中,hdfs集群数据量已达到存储的90%,亟需对存储空间进行扩容。

通过调研和实验,确定添加datanoe的存储目录比较适合我们的生产环境!在这里记录一下添加数据目录的过程。

  • 第一步:备份hdfs-site.xml配置文件
cp hdfs-site.xml hdfs-site.xml.20190330.bak
  • 第二步:添加数据磁盘、格式化,并挂载到/data2目录
#格式化磁盘mkfs.ext4 /dev/sdb

#挂载磁盘到/data2mount -t ext4 /dev/sdb /data2

#添加开机挂载vim /etc/fstab
  • 第三步:创建hdfs数据存储目录
mkdir /data2/hadoop

注意:如果hadoop集群有用户权限,需要修改相应权限,例如:chown -R hadoop.hdfs /data2/hadoop

  • 第四步:修改hdfs-site.xml文件(所有节点),增加dfs.datanode.data.dir数据目录(用逗号分隔)
<property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/data1/my_data/dfs-data,/data2/hadoop</value>
</property>
  • 第五步:重启HBASE集群

执行重启命令。。



重启完成后,可以发现旧的数据目录会均衡一部分数据到新的目录,扩容工作完成~~

原文地址:https://www.cnblogs.com/liuguangjiji/p/10625434.html

时间: 2024-11-07 05:48:24

hdfs datanode通过添加数据盘扩容的相关文章

腾讯云新购主机怎么添加数据盘

今天在腾讯云上新购了一台Linux主机,Centos 6.8 32位,同时另外加购了一个数据盘. 但是查看的时候只有系统盘: 可见,第二次访问的时候,多了个数据盘了. 那么怎么添加数据盘呢? 首先查看还没挂载的数据盘有哪些: 可以看到:有一个214.7GB的盘没进来,否则总容量不止50G: 那么就对该盘进行操作. 1:先格式化该盘 2:在根目录下创建个新目录,用来挂载新盘: 3:写入fstab 设置开机自动挂载 命令如下: echo '/dev/vdb /new_pan ext4 default

阿里云服务器ESC添加数据盘

此文章不详细介绍各工具的使用方法. 具体使用到的工具有parted,mkfs.ext4,e2label,LVM管理 一.普通硬盘方式挂载数据盘 1.使用parted -l查看,发现硬盘. 2.使用parted工具对硬盘分区 查看命令具体用法: 创建分区表,格式为gpt 创建分区,发现不支持ext4格式,所以先不格式化 3.格式化分区成ext4格式 4.创建分区标签,挂载分区,添加永久生效 二.LVM方式挂载数据盘 1.创建PV 2.创建VG 3.创建LV 4.使用parted -l,查看分区 5

阿里云ECS数据盘扩容

扩容数据盘(Linux) 随着业务的增长,您的磁盘容量可能无法满足数据存储的需要,这时您可以扩容磁盘. 本文档介绍的方法只适用于数据盘. 扩容须知 扩容前 建议在扩容磁盘之前 手动创建快照,以备份数据. 创建完成后,可以查看到,这样后面操作出现问题,可以回滚 磁盘上如果正在执行创建快照的操作,则此时不允许进行扩容操作. 只做磁盘容量的扩容,不做文件系统的扩容. 支持普通盘的扩容,不支持本地盘(本地磁盘.本地 SSD 盘)的扩容. 挂载在实例上的数据盘,只有实例为 运行中 (Running) 或者

阿里云数据盘扩容

操作过程:   1.找到你的数据盘,按系统提示进行扩容       2.重启服务器       3.首先要终止系统正在运行的程序,这点很重要,否则后继的操作无法成功   终止以下程序:nginx.apache.mysql.php-fpm.ftp  /etc/init.d/nginx stop  /etc/init.d/httpd stop  /etc/init.d/mysqld stop  /etc/init.d/php-fpm stop  /etc/init.d/vsftpd stop    

Linux添加新盘扩容空间

添加磁盘扩容操作: 1.添加物理磁盘到服务器重启服务器,#fdisk -l查看识别磁盘(以/dev/sdb为例) [ ~]# fdisk -l Disk /dev/sda: 42.9 GB, 42949672960 bytes 255 heads, 63 sectors/track, 5221 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Sector size (logical/physical): 512 bytes /

阿里云云盘扩容数据盘_Linux

随着业务的增长,您的数据盘容量可能无法满足数据存储的需要,这时您可以使用 磁盘扩容 功能扩容数据盘.   说明 挂载在实例上的数据盘,只有当实例处于 运行中 (Running) 或 已停止(Stopped) 状态时才可以扩容.扩容这种数据盘需要在控制台上重启实例后才能使扩容后的容量生效,而重启实例会停止实例,中断您的业务,所以请您谨慎操作. 建议在扩容数据盘之前手动创建快照,以备份数据. 无论数据盘的状态是 待挂载 还是 使用中,都可以执行磁盘扩容操作. 包年包月实例如果做过 续费降配 操作,当

CentOS7 LVM添加硬盘及扩容

一.LVM简介 LVM是 Logical Volume Manager(逻辑卷管理)的简写,它是Linux环境下对磁盘分区进行管理的一种机制.LVM将一个或多个磁盘分区(PV)虚拟为一个卷组(VG),相当于一个大的硬盘,我们可以在上面划分一些逻辑卷(LV).当卷组的空间不够使用时,可以将新的磁盘分区加入进来.我们还可以从卷组剩余空间上划分一些空间给空间不够用的逻辑卷使用. LVM模型如下图: 二.LVM添加硬盘和扩容 测试环境:CentOS7 64位(KVM虚拟机) LVM版本:lvm2-2.0

HDFS源码分析数据块校验之DataBlockScanner

DataBlockScanner是运行在数据节点DataNode上的一个后台线程.它为所有的块池管理块扫描.针对每个块池,一个BlockPoolSliceScanner对象将会被创建,其运行在一个单独的线程中,为该块池扫描.校验数据块.当一个BPOfferService服务变成活跃或死亡状态,该类中的blockPoolScannerMap将会更新. 我们先看下DataBlockScanner的成员变量,如下: // 所属数据节点DataNode实例 private final DataNode

阿里云挂载数据盘

在阿里云购买了个数据盘,需要挂载,但发现网上的方法太混乱了,于是把验证有效的方法转载如下: 转: 1. 虚拟机–设置–添加,选择硬盘添加 2. 首先为磁盘创建文件系统:mkfs.ext3 /dev/sdb 3. 创建挂载点:mkdir /mnt/sdb 4. 挂载:mount /dev/sdb /mnt/sdb 5. fdisk -l 发现有问题: Disk /dev/sdb doesn’t contain a valid partition table 6. fdisk /dev/sdb 跟着