hadoop fsck命令输出结果详解

我们知道fsck是用来检测hdfs上文件、block信息的,但是fsck输出的结果我们是否能看明白呢?

下面我们来看一个fsck输出的结果

hadoop fsck /

########################## 情况一 ####################

Status: HEALTHY

Total size: 3107919020687 B

Total dirs: 142

Total files: 321

Total symlinks: 0

Total blocks (validated): 11738 (avg. block size 264774154 B)

Minimally replicated blocks: 11738 (100.0 %)

Over-replicated blocks: 3605 (30.712217 %)

Under-replicated blocks: 0 (0.0 %)

Mis-replicated blocks: 8011 (68.24842 %)

Default replication factor: 3

Average block replication: 3.3083148

Corrupt blocks: 0

Missing replicas: 0 (0.0 %)

Number of data-nodes: 11

Number of racks: 2

FSCK ended at Fri Nov 10 15:11:47 CST 2017 in 418 milliseconds

The filesystem under path ‘/‘ is HEALTHY

注:

这种情况是我们在原来的机架上扩增了一个不同机房的机架

由于hadoop对扩增机房的数据平衡策略是:

1)先拷贝一份数据到新增机架的机器上,然后再在原来机架上删除一份数据

2)所以这里的Over-replicated blocks会显示,是3605 。代表的是集群新增了3605 副本数,超过了默认的副本数

########################## 情况二 ####################

.....................Status: HEALTHY

Total size: 3130802412834 B

Total dirs: 143

Total files: 321

Total symlinks: 0 (Files currently being written: 1)

Total blocks (validated): 11824 (avg. block size 264783695 B)

Minimally replicated blocks: 11824 (100.0 %)

Over-replicated blocks: 0 (0.0 %)

Under-replicated blocks: 755 (6.385318 %)

Mis-replicated blocks: 0 (0.0 %)

Default replication factor: 3

Average block replication: 2.937331

Corrupt blocks: 0

Missing replicas: 755 (2.1275997 %)

Number of data-nodes: 10

Number of racks: 1

FSCK ended at Mon Nov 13 16:59:13 CST 2017 in 69 milliseconds

注:

当新增机房的slave节点和之前的slave节点数据重新平衡后,我把新增机房的节点网络中断,

然后后就出现了 Under-replicated blocks,意思就是集群中有这么多副本数是小于集群指定的副本数。

########################## 情况三 ####################

Status: HEALTHY

Total size: 3130802412834 B

Total dirs: 143

Total files: 322

Total symlinks: 0

Total blocks (validated): 11824 (avg. block size 264783695 B)

Minimally replicated blocks: 11824 (100.0 %)

Over-replicated blocks: 0 (0.0 %)

Under-replicated blocks: 0 (0.0 %)

Mis-replicated blocks: 0 (0.0 %)

Default replication factor: 3

Average block replication: 3.001184

Corrupt blocks: 0

Missing replicas: 0 (0.0 %)

Number of data-nodes: 14

Number of racks: 2

FSCK ended at Mon Nov 13 11:00:37 CST 2017 in 642 milliseconds

注:

这里的是最终达到平衡后的检测结果

参数解释:

status:代表这次hdfs上block检测的结果

Total size: 代表/目录下文件总大小

Total dirs:代表检测的目录下总共有多少个目录

Total files:代表检测的目录下总共有多少文件

Total symlinks:代表检测的目录下有多少个符号连接

Total blocks(validated):代表检测的目录下有多少个block块是有效的

Minimally replicated blocks:代表拷贝的最小block块数

Over-replicated blocks:指的是副本数大于指定副本数的block数量

Under-replicated blocks:指的是副本数小于指定副本数的block数量

Mis-replicated blocks:指丢失的block块数量

Default replication factor: 3 指默认的副本数是3份(自身一份,需要拷贝两份)

Missing replicas:丢失的副本数

Number of data-nodes:有多少个节点

Number of racks:有多少个机架

时间: 2024-10-12 11:12:07

hadoop fsck命令输出结果详解的相关文章

hadoop fsck命令详解

hadoop fsck命令详解 hadoop  fsck Usage: DFSck <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]        <path>             检查这个目录中的文件是否完整 -move               破损的文件移至/lost+found目录        -delete             删除破损的文件 -o

linux cat命令使用方法详解--把档案串连接后传到基本输出

linux cat命令使用方法详解--把档案串连接后传到基本输出 日期:2011-12-05 点击:2324 来源: 未知 分享至: 使用方式:cat [-AbeEnstTuv] [--help] [--version] fileName说明:把档案串连接后传到基本输出(萤幕或加 > fileName 到另一个档案)参数:-n 或 --number 由 1 开始对所有输出的行数编号-b 或 --number-nonblank 和 -n 相似,只不过对于空白行不编号-s 或 --squeeze-b

Linux rpm 命令参数使用详解[介绍和应用]

RPM是RedHat Package Manager(RedHat软件包管理工具)类似Windows里面的"添加/删除程序" rpm 执行安装包 二进制包(Binary)以及源代码包(Source)两种.二进制包可以直接安装在计算机中,而源代码包将会由RPM自动编译.安装.源代码包经常以src.rpm作为后缀名. 常用命令组合: -ivh:安装显示安装进度--install--verbose--hash -Uvh:升级软件包--Update: -qpl:列出RPM软件包内的文件信息[Q

Linux字符集和系统语言设置-LANG,locale,LC_ALL,POSIX等命令及参数详解

博文说明[前言]: 本文将通过个人口吻介绍Linux字符集和系统语言设置,包括LANG,locale,LC_ALL,POSIX等命令及参数详解的相关知识,在目前时间点[2017年6月21号]下,所掌握的技术水平有限,可能会存在不少知识理解不够深入或全面,望大家指出问题共同交流,在后续工作及学习中如发现本文内容与实际情况有所偏差,将会完善该博文内容. 本文参考文献引用链接: 1.http://blog.csdn.net/z4213489/article/details/7937894[好文,必看]

Linux命令之 lsof详解

简介: lsof(list open files)是一个列出当前系统打开文件的工具.在linux环境下,任何事物都以文件的形式存在,通过文件不仅仅可以访问常规数据,还可以访问网络连接和硬件(来源百度百科). lsof在查找进程占用的那些文件或pid号由那些文件发起的等方面作用很大:尤其在Linux系统被黑后的溯源工作上绝对可以称之为一个重量级的命令. 格式详解: [[email protected] ~]# lsof -c httpd | head -5 COMMAND  PID   USER 

VLC命令行参数详解

VLC命令行参数详解 2012-11-29 14:00 6859人阅读 评论(0) 收藏 举报 Usage: vlc [options] [stream] ...You can specify multiple streams on the commandline. They will be enqueued in the playlist.The first item specified will be played first. Options-styles:  --option  A gl

linux route命令的使用详解

linux route命令的使用详解 --http://www.cnblogs.com/snake-hand/p/3143041.html 每天一个linux命令(53):route命令 --http://www.cnblogs.com/peida/archive/2013/03/05/2943698.html route命令用于显示和操作IP路由表.要实现两个不同的子网之间的通信,需要一台连接两个网络的路由器,或者同时位于两个网络的网关来实现.在Linux系统中,设置路由通常是 为了解决以下问

Linux Crontab [定时任务] 命令与参数详解

crontab命令常用于Unix和Linux系统中,用于设置周期性被执行的指令. 该命令从标准输入设备读取指令,并将其存放于crontab文件中,以供读取和执行. 通常,crontab储存的指令被守护进程激活,crond服务常常在后台运行. 通过设定的时间来检查是否有作业需要执行,这类作业一般称为:cron jobs. crontab 文件 crontab文件包含送交cron守护进程的一系列作业和指令. 每个用户可以拥有自己的crontab文件,同时操作系统保存一个针对整个系统的crontab文

JAR命令&JAR包详解

JAR包是Java中所特有一种压缩文档,其实大家就可以把它理解为.zip包.当然也是有区别的,JAR包中有一个META-INF\MANIFEST.MF文件,当你找成JAR包时,它会自动生成. JAR包是由JDK安装目录\bin\jar.exe命令生成的,当我们安装好JDK,设置好path路径,就可以正常使用jar.exe命令,它会用lib\tool.jar工具包中的类.这些细节就不用管它了. 让我们看看它怎么么使用吧: <!--=========================Jack.Hao=