由于阿里云磁盘空间导致hadoop的yarn节点处于UNHEALTHY状态

最初使用的阿里云云盘只有50G

正常运行的hadoop集群突然无法正常运行了,web页面显示节点为UNHEALTHY

使用df -m命令,发现一些节点磁盘空间占用达到了99%,因此要扩容磁盘空间

1.为云盘建立快照,以防出错

2.磁盘扩容

3.选择扩容容量,选在线扩容,付费

4.如果是centos7

此处以CentOS 7操作系统为例演示分区扩展的步骤。

  1. 运行fdisk -l命令查看现有云盘大小。

    以下示例返回云盘(/dev/vda)容量是100GiB。

    [[email protected] ~]# fdisk -l
    Disk /dev/vda: 107.4 GB, 107374182400 bytes, 209715200 sectors
    Units = sectors of 1 * 512 = 512 bytes
    Sector size (logical/physical): 512 bytes / 512 bytes
    I/O size (minimum/optimal): 512 bytes / 512 bytes
    Disk label type: dos
    Disk identifier: 0x0008d73a
    
       Device Boot      Start         End      Blocks   Id  System
    /dev/vda1   *        2048    41943039    20970496   83  Linux
  2. 运行df -h命令查看云盘分区大小。

    以下示例返回分区(/dev/vda1)容量是20GiB。

    [[email protected] ~]# df -h
    Filesystem      Size  Used Avail Use% Mounted on
    /dev/vda1        20G  1.5G   18G   8% /
    devtmpfs        7.8G     0  7.8G   0% /dev
    tmpfs           7.8G     0  7.8G   0% /dev/shm
    tmpfs           7.8G  344K  7.8G   1% /run
    tmpfs           7.8G     0  7.8G   0% /sys/fs/cgroup
    tmpfs           1.6G     0  1.6G   0% /run/user/0
  3. 运行growpart <DeviceName> <PartionNumber>命令调用growpart为需要扩容的云盘和对应的第几个分区扩容。

    示例命令表示为系统盘的第一个分区扩容。

    [[email protected] ~]# growpart /dev/vda 1
    CHANGED: partition=1 start=2048 old: size=41940992 end=41943040 new: size=209710462,end=209712510

    若运行命令后报以下错误,您可以运行LANG=en_US.UTF-8切换ECS实例的字符编码类型。

    [[email protected] ~]# growpart /dev/vda 1
    unexpected output in sfdisk --version [sfdisk,来自 util-linux 2.23.2]
    [[email protected] ~]# LANG=en_US.UTF-8
  4. 运行resize2fs <PartitionName>命令调用resize2fs扩容文件系统。

    示例命令表示为扩容系统盘的/dev/vda1分区文件系统。

    [[email protected] ~]# resize2fs /dev/vda1
    resize2fs 1.42.9 (28-Dec-2013)
    Filesystem at /dev/vda1 is mounted on /; on-line resizing required
    old_desc_blocks = 2, new_desc_blocks = 7
    The filesystem on /dev/vda1 is now 26213807 blocks long.

    说明 如果您使用的是xfs文件系统,运行xfs_growfs /dev/vda1命令扩容文件系统。

  5. 运行df -h命令查看云盘分区大小。

    返回分区(/dev/vda1)容量是100GiB,表示已经成功扩容。

    [[email protected] ~]# df -h
    Filesystem      Size  Used Avail Use% Mounted on
    /dev/vda1        99G  1.6G   93G   2% /
    devtmpfs        7.8G     0  7.8G   0% /dev
    tmpfs           7.8G     0  7.8G   0% /dev/shm
    tmpfs           7.8G  500K  7.8G   1% /run
    tmpfs           7.8G     0  7.8G   0% /sys/fs/cgroup
    tmpfs           1.6G     0  1.6G   0% /run/user/0

5.如果是centos6或更低

此处以CentOS 6操作系统为例演示分区扩展的步骤。

  1. 安装dracut-modules-growroot工具。

    [[email protected] ~]# yum install -y dracut-modules-growroot

    如果您使用的是其他软件包管理器,请将yum修改为对应的命令。

  2. 覆盖已有的initramfs文件。
    [[email protected] ~]# dracut -f
  3. 运行fdisk -l命令查看现有云盘大小。

    以下示例返回云盘(/dev/vda1)容量是100GiB。

    [[email protected] ~]# fdisk -l
    Disk /dev/vda: 107.4 GB, 107374182400 bytes
    255 heads, 63 sectors/track, 13054 cylinders
    Units = cylinders of 16065 * 512 = 8225280 bytes
    Sector size (logical/physical): 512 bytes / 512 bytes
    I/O size (minimum/optimal): 512 bytes / 512 bytes
    Disk identifier: 0x0003a7b4
    
       Device Boot      Start         End      Blocks   Id  System
    /dev/vda1   *           1        2611    20970496   83  Linux
  4. 运行df -h命令查看云盘分区大小。

    以下示例返回分区(/dev/vda1)容量是20GiB。

    [[email protected] ~]# df -h
    Filesystem      Size  Used Avail Use% Mounted on
    /dev/vda1        20G  1.1G   18G   6% /
    tmpfs           7.8G     0  7.8G   0% /dev/shm
  5. 运行growpart <DeviceName><PartionNumber>命令调用growpart为需要扩容的云盘和对应的第几个分区扩容。

    示例命令表示为系统盘的第一个分区扩容。

    [[email protected] ~]# growpart /dev/vda 1
    CHANGED: partition=1 start=2048 old: size=41940992 end=41943040 new: size=209710462,end=209712510
  6. 在控制台重启实例或者调用API RebootInstance。详细步骤请参见重启实例RebootInstance
  7. 再次远程连接实例。
  8. 运行resize2fs <PartitionName>命令调用resize2fs扩容文件系统。

    示例命令表示为扩容系统盘的/dev/vda1分区文件系统。

    [[email protected] ~]# resize2fs /dev/vda1
    resize2fs 1.41.12 (17-May-2010)
    Filesystem at /dev/vda1 is mounted on /; on-line resizing required
    old desc_blocks = 2, new_desc_blocks = 7
    Performing an on-line resize of /dev/vda1 to 26213807 (4k) blocks.
    The filesystem on /dev/vda1 is now 26213807 blocks long.

    说明 如果您使用的是xfs文件系统,运行xfs_growfs /dev/vda1命令扩容文件系统。

  9. 运行df -h命令查看云盘分区大小。

    返回分区(/dev/vda1)容量是100GiB,表示已经成功扩容。

    [[email protected] ~]# df -h
    Filesystem      Size  Used Avail Use% Mounted on
    /dev/vda1        99G  1.1G   93G   2% /
    tmpfs           7.8G     0  7.8G   0% /dev/shm

原文地址:https://www.cnblogs.com/aidata/p/11719555.html

时间: 2024-10-10 13:05:20

由于阿里云磁盘空间导致hadoop的yarn节点处于UNHEALTHY状态的相关文章

阿里云ECS服务器部署HADOOP集群(四):Hive本地模式的安装

本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 本地模式需要采用MySQL数据库存储数据. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop:hadoop-2.7.3.tar.gz Java: jdk-8u77-linux-x64.tar.gz Hive:apache-hive-2.3.6-bin.tar.gz Mysql: Mysql 5.7 MySQL Connector-J:mysql-

阿里云ECS服务器部署HADOOP集群(五):Pig 安装

本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop:hadoop-2.7.3.tar.gz Java: jdk-8u77-linux-x64.tar.gz Pig: pig-0.17.0.tar.gz 2 Pig 下载 下载 pig-0.17.0.tar.gz 并在合适的位置解压缩,笔者这里解压缩的路径为: /usr/local 将解压得到的目录改

阿里云ECS服务器部署HADOOP集群(七):Sqoop 安装

本篇将在 阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建 阿里云ECS服务器部署HADOOP集群(二):HBase完全分布式集群搭建(使用外置ZooKeeper) 阿里云ECS服务器部署HADOOP集群(三):ZooKeeper 完全分布式集群搭建 阿里云ECS服务器部署HADOOP集群(四):Hive本地模式的安装 的基础上搭建. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop:hadoop-2.7.3.tar

阿里云ECS服务器部署HADOOP集群(六):Flume 安装

本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop:hadoop-2.7.3.tar.gz Java: jdk-8u77-linux-x64.tar.gz Flume:apache-flume-1.8.0-bin.tar.gz 2 Flume 下载 下载 apache-flume-1.8.0-bin.tar.gz 并在合适的位置解压缩,笔者这里解压

阿里云ECS服务器部署HADOOP集群(三):ZooKeeper 完全分布式集群搭建

本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里云ECS服务器:master, slave1, slave2 操作系统:CentOS 7.3 Hadoop:hadoop-2.7.3.tar.gz Java: jdk-8u77-linux-x64.tar.gz ZooKeeper: zookeeper-3.4.14.tar.gz 1.2 各节点角色

阿里云磁盘扩容踩坑总结

公司半年前上线一个新的项目,采购了一批阿里云主机,磁盘组成是40G系统盘+100G的数据盘,数据库采用MariaDB Galera Cluster集群部署,由于业务数据量快速增长,导致磁盘存储空间剩余量很少,急需要扩容,先总结整个项目规划中埋下的坑: 1.没有DBA对数据库的容量规划,而前期的运维人员采购时选用100G的SSD云盘: 2.数据库默认使用共享表空间,缺点是删除数据后不释放空间,当数据快速增长后,我们采取了先删除临时表数据的方式来尽量避免暴力扩容,争取在春节期间稳定,删除部分数据后,

程序升级触发阿里云自身安全机制导致的莫名问题

最近对放在阿里云的程序作了升级,但在升级的时候却出现了一个莫名其妙的问题,导致整个应用无法使用.这是一个ecshop的程序,程序升级完以后出现莫名其妙的语法错误.然而程序本地测试并无问题. 报错异常 Parse error: syntax error, unexpected T_IF in /www/web/includes/lib_main.php on line 1 用securecrt登陆进去,set number居然报错.没辙,将文件栽下来,查看了下lib_main.php <?php/

阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建

准备: 两台配置CentOS 7.3的阿里云ECS服务器: hadoop-2.7.3.tar.gz安装包: jdk-8u77-linux-x64.tar.gz安装包: hostname及IP的配置: 更改主机名: 由于系统为CentOS 7,可以直接使用‘hostnamectl set-hostname 主机名’来修改,修改完毕后重新shell登录或者重启服务器即可. 1 hostnamectl set-hostname master 2 exit 3 ssh [email protected]

阿里云磁盘扩容

进入 ECS 控制台 选择全部磁盘页或者本实例磁盘页 在每一个磁盘条目的最后选择"更多" 选择"磁盘扩容",即可进入磁盘扩容操作页 输入你希望扩容的目标大小(我输入 40G) 提交扩容订单,按量付费的磁盘在下一个计价单位(目前是小时)开始按扩容后的磁盘大小计费:包年包月的磁盘则是补差价. 扩容仅做磁盘容量的扩大,不做分区和文件系统的扩大,扩容完成后,用户还需要手动分配存储空间. 难就难在磁盘扩容后的操作: 1.重启服务器(reboot) 2.umount /dev/