datanode扩容步骤

新扩容机器规划：

hostname ip 进程
slave3 10.183.225.167 datanode,nodemange

1. 修改/etc/hosts

增加新扩容机器的hostname

10.183.225.167 slave3

2. 将/etc/hosts同步到其他服务器

scp /etc/hosts slave3:/etc/

3. 将hadoop拷贝至slave3

scp -r /xxx/soft/hadoop-2.7.3 slave3:/xxx/soft/

4. 将jsvc拷贝至slave3(安全模式datanode需要通过jsvc启动)

scp -r /letv/soft/commons-daemon-1.0.15-src slave3:/letv/soft/

5. kadmin添加pricipal

kadmin.local
addpric -randkey root/[email protected]
addpric -randkey host/[email protected]

xst -norandkey -k /var/kerberos/krb5kdc/keytab/root.keytab root/[email protected] host/[email protected]

6. 测试principal　　

kinit -k -t /var/kerberos/krb5kdc/keytab/root.keytab root/[email protected]

7. 将keytab同步其他服务器

scp /var/kerberos/krb5kdc/keytab/root.keytab slave3:/var/kerberos/krb5kdc/keytab/
scp /var/kerberos/krb5kdc/keytab/root.keytab master2:/var/kerberos/krb5kdc/keytab/
scp /var/kerberos/krb5kdc/keytab/root.keytab slave2:/var/kerberos/krb5kdc/keytab/

8. 启动datanode

./sbin/start-secure-dns.sh

9. 启动nodemanage

./sbin/yarn-daemon.sh start nodemanager

　　

　　

　　

　　

　　

　　

　　

时间： 2024-10-12 17:57:12

datanode扩容步骤的相关文章

阿里云ECS磁盘扩容步骤

刚在阿里云服务器上对磁盘进行扩容,现在对扩容步骤做个小结. 情景一:直接使用磁盘分区存储数据 官方帮助文档请点击这里. 假设待扩容磁盘为/dev/xvdb,只有一个分区/dev/xvdb1,挂载在/mnt/disk1目录下.扩容步骤如下: 1. 登录系统卸载分区: umount /dev/xvdb 2. 在阿里云控制台进行扩容操作: 3. 在控制台重启机器(也可在控制台卸载和挂载磁盘,不必重启): 4. 删除并重建分区: 这里使用GPT分区,值得吐槽的是目前阿里云提供的单块磁盘最大容量为2T,G

Linux文件系统扩容步骤

1 扩容前检查 cat /etc/fstab df -h 在扩容之前请确认VG的Free大小,以及文件和文件系统是否达到系统限制 2 系统识别硬盘 #echo "- - -" > /sys/class/scsi_host/hostNumbers/scan host在ls -lrt /sys/class/scsi_host/目录下查找 3 对于不同的存储查看聚合盘 EMC存储聚合路径软件Powerpath,聚合后的磁盘名称为emcpower #powermt config 链路聚合

虚拟机服务器磁盘扩容

前期准备 虚拟机硬件扩容 对虚拟机进行硬件扩容,扩容方式一般为两种,扩展原有的虚拟硬盘与添加新的虚拟硬盘,建议采用添加新的虚拟硬盘的方式 停止虚拟机上的所有服务 项停下虚拟机上的所有服务(如数据库以及各类应用) 备份虚拟机 对虚拟机进行备份(所有的磁盘操作都是有风险的,一定要进行备份) 重启虚拟机 重启虚拟机.建议使用命令reboot 扩容步骤 检查硬盘空间 在root用户下终端执行命令fdisk –l 如若采用扩展原有硬盘的方式进行的硬件扩容,则会如下图所示 原有的sda盘的总容量扩展了但是没

MAC虚拟机无损扩容

之前装了Vmware10.8+MacOSX10.8,只给Mac分配了40GB空间,后来发现不够,需要扩容. 扩容步骤方法: 1.编辑虚拟机设置->硬盘->实用工具->扩展 设置好合适的新磁盘空间大小 2.开启此虚拟机->关于本机->更多信息->磁盘工具->'存储'标签页->磁盘工具 设置对应的磁盘大小,然后应用就OK了

在非LVM分区模式中root文件系统扩容

如果安装Linux系统时选择标准分区,会在后续需要扩容时带来麻烦.有时候我们会发现"/" 文件系统空间使用率接近100%,这时就需要进行扩容.如果安装系统时我们采用LVM分区,扩容就很方便,但是如果我们采用了标准分区方式,这时扩容就有些麻烦了. 扩容前提:必须保证是最后一个分区挂载到 "/"下,在这里我们可以看到最后一个分区为/dev/sda3   具体扩容步骤: 1.增加物理磁盘大小 2.增加分区大小(主要通过fdisk /dev/sda 命令 输入d删除最后一个

003.LVM扩容

一 LVM扩容步骤 创建分区 创建PV 扩容VG 扩容LV 载大小 二 创建分区 使用分区工具(如fdisk等)创建LVM分区,却将分区标识为LVM的分区类型8e. 1 [[email protected] ~]# fdisk -l 2 -- 3 Device Boot Start End Blocks Id System 4 /dev/sdb7 4202496 6299647 1048576 8e Linux LVM 5 /dev/sdb8 6301696 8398847 1048576 8e

大数据（hdfs的扩容兼容及其高可用HA）

HDFS的集群扩容,减容 [了解] 热扩容,减容 减容 1. 创建一个新的文件 位置 名字 随便host.exclusionhadoop22. 配置 hdfs-site.xmldfs.hosts.exclude 文件的位置 (不加 file://)<property>     <name>dfs.hosts.exclude</name>     <value>/opt/install/hadoop-2.5.2/host.exclusion</value

Linux磁盘和文件系统扩容彻底研究

1.物理卷: LVM 逻辑卷的底层物理存储单元是一个块设备,比如一个分区或整个磁盘.要在 LVM 逻辑卷中使用该设备,则必须将该设备初始化为物理卷(PV). 2.卷组:物理卷合并为卷组(VG).这样就创建了磁盘空间池,并可使用它分配逻辑卷. 3.逻辑卷:逻辑卷管理会根据物理存储生成提取层,以便创建逻辑存储卷.这样就比直接使用物理存储在很多方面提供了更大的灵活性.使用逻辑卷时不会受物理磁盘大小限制.另外,软件无法看到硬件存储配置,因此可在不停止应用程序或者卸载文件系统的情况下,重新定义大小并进行移

HDFS集群中DataNode的上线与下线

在HDFS集群的运维过程中,肯定会遇到DataNode的新增和删除,即上线与下线.这篇文章就详细讲解下DataNode的上线和下线的过程. 背景 在我们的微职位视频课程中,我们已经安装了3个节点的HDFS集群,master机器上安装了NameNode和SecondaryNameNode角色,slave1和slave2两台机器上分别都安装了DataNode角色. 我们现在来给这个HDFS集群新增一个DataNode,这个DataNode是安装在master机器上 我们需要说明的是:在实际环境中,N