手动修复 under-replicated blocks in HDFS

解决方式步骤:

1、进入hdfs的pod

kubectl get pod -o wide | grep hdfs

kubectl exec -ti hadoop-hdfs-namenode-hdfs1-948569108-c5d70 bash

2、获取票据

kinit -kt /etc/hdfs1/conf/hdfs.keytab hdfs/gz232-112

3、查询每个blocks信息

hdfs fsck -blocks -files -locations /

4、找出replication != 3 的blocks

hdfs fsck / | grep ‘Under replicated‘

5、cat /tmp/under_replicated_files  查看,是不是所有的都是这个问题

6、手动修复 under_replicated_files

su - <$hdfs_user>

hdfs fsck / | grep ‘Under replicated‘ | awk -F‘:‘ ‘{print $1}‘ >> /tmp/under_replicated_files

for hdfsfile in `cat /tmp/under_replicated_files`; do echo "Fixing $hdfsfile :" ;  hadoop fs -setrep 3 $hdfsfile; done

原文地址:https://www.cnblogs.com/yfb918/p/10417325.html

时间: 2024-12-23 02:25:14

手动修复 under-replicated blocks in HDFS的相关文章

实战处理mysql主从延时不一致之手动修复

前2天经常被同事反应crm后台系统和前台,经常报前后查询不一致的问题.一开始也很抓狂,从集群.日志跟踪.网络转包等方面排查,都没找到原因,后来经过和研发同事一起沟通,提出线上mysql主从数据库可能不一致导致,于是立马登陆mysql主从服务器,查看复制状态,到这很明显问题就找到. 手动修复主从延时不一致,主库完整mysqldump导出,注意用的参数.经过实践,是线上成功修复主从不一致的结果哦.还有个奇葩的问题,就是刚修复主从不一致,很快又出现,延时又拉很大.到这你是否会想到,主库有大量数据的写入

手动修复IAT

现在我们已经了解了IAT的的工作原理,现在我们来一起学习手动修复IAT,一方面是深入了解运行过程一方面是为了避免遇到有些阻碍自动修复IAT的壳时不知所措. 首先我们用ESP定律找到加了UPX壳后的OEP,现在我们处于OEP处,原程序区段已经解密完毕,我们现在可以进行dump了. 前面已经提到过,有很多dump的工具,OD有一个款插件OllyDump的dump效果也不错,这里我们来使用另外一个工具PE TOOLS来进行dump. PE TOOLS的界面是这样的,我们用PE-TOOLS定位到CRAC

手动修复OneDrive的DNS污染屏蔽的方法

随着云计算的发展和微软云战略的持续推进,使用网盘进行文档存储.协同编辑与共享已成为文档操作的新流程.而Office.Office 365和OneDrive等微软产品是Windows用户的首选.但由于国内对Ondrive的DNS污染屏蔽,导致在浏览器端无法使用OneDrive的情况发生,跟用户到来极大不便.下面介绍的就是手动修复OneDrive的DNS污染屏蔽的方法. 对于使用Windows 7版本以上用户以“管理员身份”打开记事本. File=>Open,浏览到“C:\Windows\Syste

Hacker(20)----手动修复Windows系统漏洞

Win7系统中存在漏洞时,用户需要采用各种办法来修复系统中存在的漏洞,既可以使用Windows Update修复,也可使用360安全卫士来修复. 一.使用Windows Update修复系统漏洞 Windows Update时Microsoft公司提供的一款自动更新工具,该工具提供了漏洞补丁的安装.驱动程序和软件的升级等功能.利用Windows Update可以更新当前的系统,扩展系统的功能,让系统支持更多的软.硬件,解决各种兼容性问题,打造更安全.更稳定的系统. 1)打开控制面板 2)单击Wi

SqlServer 禁止架构更改的复制中手动修复使在发布和订阅中分别增加字段同步

由于之前的需要,禁止了复制架构更改,以至在发布中添加一个字段,并不会同步到订阅中,而现在又在订阅中添加了一个同名字段,怎么使这发布和订阅的两个字段建立同步关系呢? 下面就测试更改:此次发布类型为事务复制的可更新订阅,其他类型的发布没有测试. 首先建立事务复制的可更新订阅,建立好之后. 在发布创建一张测试表: CREATE TABLE [dbo].[DemoTab]( [Guid] [uniqueidentifier] NOT NULL, [SID] [varbinary](85) NOT NUL

Ceph手动修复mon 集群

目录 一.背景介绍 二. 解决过程 一.背景介绍 ceph 版本为L版,集群由于异常断电,导致文件丢失,ceph mon 数据文件store.db/目录下的sst 文件丢失,所以无法正常启动. 本集群有三台mon节点,其中有一台mon 节点的服务可以正常启动,另外两台无法正常启动. 二. 解决过程 因为判断可能出现文件丢失导致的mon无法启动,所以决定重做另两台mon来解决问题 1.本环境中control3的mon是好的,control1和control2是坏的 在control3上导出monm

hadoop 之hdfs数据块修复方法

hadoop 之hdfs数据块修复方法: 1.手动修复 hdfs fsck / #检查集群的健康状态 hdfs debug recoverLease -path 文件位置 -retries 重试次数 #修复指定的hdfs数据块.也就是关闭打开的文件. 检查坏块: hadoop fsck /user -files -blocks -locations 检查是否有数据块正在写入: hadoop fsck /user openforwrite 原文地址:https://www.cnblogs.com/

HDFS块检查命令Fsck机理的分析

前言 在HDFS中,所有的文件都是以block块的概念而存在的,那么在这样海量的文件数据的情况下,难免会发生一些文件块损坏的现象,那么有什么好的办法去发现呢.答案是使用HDFS的fsck相关的命令.这个命令独立于dfsadmin的命令,可能会让部分人不知道HDFS中还存在这样的命令,本文就来深度挖掘一下这个命令的特殊的用处和内在机理的实现. Fsck命令 其实说到fsck命令本身,熟悉Linux操作系统的人,可能或多或少听到过或使用过这个命令.Fsck命令的全称为file system chec

Hadoop之HDFS命令

概述 所有的HDFS命令都调用bin/hdfs脚本文件,如果运行hdfs脚本没有带任何参数的话,则打印所有命令的描述. 使用: hdfs [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [COMMAND_OPTIONS] Hadoop是一个参数解析框架,采用解析泛型选项以及运行类. 命令参数 描述 --config --loglevel 指定一个默认的配置文件目录,默认值是: ${HADOOP_PREFIX}/conf. 重载Log级别.有效的日志级别包含:F