[linux]df 磁盘100%Used告警，du显示目录状态良好的故障排查

1.回顾：

某在线主机深夜连续接到告警系统的disk Used 超限告警。

登陆主机查看却遇到了困惑：在检查磁盘使用量 df –h 出来的磁盘使用量确实和告警信息一样，已经被100%占用，但是查看目录大小 du 时，却显示实际目录大小并非这样，而是有很大空闲空间。

如图：磁盘用量 df –h 结果为100%Used，

目录实际总大小 du –h –max-depth=1,显示总目录大小为60k，几乎可以忽略的使用比例。

【知识准备】 [linux] lsof 命令了解：

lsof（list open files）是一个查看当前系统文件的工具。在linux环境下，任何事物都以文件的形式存在，通过文件不仅仅可以访问常规数据，还可以访问网络连接和硬件。如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等，系统在后台都为该应用程序分配了一个文件描述符，该文件描述符提供了大量关于这个应用程序本身的信息。

lsof打开的文件可以是：

  1. 普通文件

  2. 目录
  3. 网络文件系统的文件
  4. 字符或设备文件
  5. (函数)共享库
  6. 管道，命名管道
  7. 符号链接
  8. 网络文件（例如：NFS file、网络socket，unix域名socket）
  9. 还有其它类型的文件，等等

【man linux】结果：包含了大量的参数：

[[email protected] local]# man lsof
LSOF(8)                                                                LSOF(8)

NAME
       lsof - list open files

SYNOPSIS
       lsof  [  -?abChlnNOPRtUvVX ] [ -A A ] [ -c c ] [ +c c ] [ +|-d d ] [ +|-D D ] [ +|-e s ] [ +|-f [cfgGn] ] [ -F [f] ] [
       -g [s] ] [ -i [i] ] [ -k k ] [ +|-L [l] ] [ +|-m m ] [ +|-M ] [ -o [o] ] [ -p s ] [ +|-r [t[m<fmt>]] ] [ -s [p:s] ]  [
       -S [t] ] [ -T [t] ] [ -u s ] [ +|-w ] [ -x [fl] ] [ -z [z] ] [ -Z [Z] ] [ -- ] [names]

命令参数

-a 列出打开文件存在的进程

-c<进程名> 列出指定进程所打开的文件

-g 列出GID号进程详情

-d<文件号> 列出占用该文件号的进程

+d<目录> 列出目录下被打开的文件

+D<目录> 递归列出目录下被打开的文件

-n<目录> 列出使用NFS的文件

-i<条件> 列出符合条件的进程。（4、6、协议、:端口、 @ip ）

-p<进程号> 列出指定进程号所打开的文件

-u 列出UID号进程详情

-h 显示帮助信息

-v 显示版本信息

实际使用：

$lsof| more
COMMAND     PID      USER   FD      TYPE             DEVICE SIZE/OFF       NODE NAME
init          1      root  cwd       DIR              253,0     4096          2 /
init          1      root  rtd       DIR              253,0     4096          2 /
init          1      root  txt       REG              253,0   150352    1310795 /sbin/init
init          1      root  mem       REG              253,0    65928    5505054 /lib64/libnss_files-2.12.so
init          1      root  mem       REG              253,0  1918016    5521405 /lib64/libc-2.12.so
init          1      root  mem       REG              253,0    93224    5521440 /lib64/libgcc_s-4.4.6-20120305.so.1
init          1      root  mem       REG              253,0    47064    5521407 /lib64/librt-2.12.so
init          1      root  mem       REG              253,0   145720    5521406 /lib64/libpthread-2.12.so
...

.csharpcode, .csharpcode pre
{
font-size: small;
color: black;
font-family: consolas, "Courier New", courier, monospace;
background-color: #ffffff;
/*white-space: pre;*/
}
.csharpcode pre { margin: 0em; }
.csharpcode .rem { color: #008000; }
.csharpcode .kwrd { color: #0000ff; }
.csharpcode .str { color: #006080; }
.csharpcode .op { color: #0000c0; }
.csharpcode .preproc { color: #cc6633; }
.csharpcode .asp { background-color: #ffff00; }
.csharpcode .html { color: #800000; }
.csharpcode .attr { color: #ff0000; }
.csharpcode .alt
{
background-color: #f4f4f4;
width: 100%;
margin: 0em;
}
.csharpcode .lnum { color: #606060; }

说明：

lsof输出各列信息的意义如下：

  • COMMAND：进程的名称

  • PID：进程标识符
  • PPID：父进程标识符（需要指定-R参数）
  • USER：进程所有者
  • PGID：进程所属组
  • FD：文件描述符，应用程序通过文件描述符识别该文件。如cwd、txt等:
（1）cwd：表示current work dirctory，即：应用程序的当前工作目录，这是该应用程序启动的目录，除非它本身对这个目录进行更改
（2）txt ：该类型的文件是程序代码，如应用程序二进制文件本身或共享库，如上列表中显示的 /sbin/init 程序
（3）lnn：library references (AIX);
（4）er：FD information error (see NAME column);
（5）jld：jail directory (FreeBSD);
（6）ltx：shared library text (code and data);
（7）mxx ：hex memory-mapped type number xx.
（8）m86：DOS Merge mapped file;
（9）mem：memory-mapped file;
（10）mmap：memory-mapped device;
（11）pd：parent directory;
（12）rtd：root directory;
（13）tr：kernel trace file (OpenBSD);
（14）v86  VP/ix mapped file;
（15）0：表示标准输入
（16）1：表示标准输出
（17）2：表示标准错误
一般在标准输出、标准错误、标准输入后还跟着文件状态模式：r、w、u等
（1）u：表示该文件被打开并处于读取/写入模式
（2）r：表示该文件被打开并处于只读模式
（3）w：表示该文件被打开并处于
（4）空格：表示该文件的状态模式为unknow，且没有锁定
（5）-：表示该文件的状态模式为unknow，且被锁定
同时在文件状态模式后面，还跟着相关的锁
（1）N：for a Solaris NFS lock of unknown type;
（2）r：for read lock on part of the file;
（3）R：for a read lock on the entire file;
（4）w：for a write lock on part of the file;（文件的部分写锁）
（5）W：for a write lock on the entire file;（整个文件的写锁）
（6）u：for a read and write lock of any length;
（7）U：for a lock of unknown type;
（8）x：for an SCO OpenServer Xenix lock on part      of the file;
（9）X：for an SCO OpenServer Xenix lock on the      entire file;
（10）space：if there is no lock.

.csharpcode, .csharpcode pre
{
font-size: small;
color: black;
font-family: consolas, "Courier New", courier, monospace;
background-color: #ffffff;
/*white-space: pre;*/
}
.csharpcode pre { margin: 0em; }
.csharpcode .rem { color: #008000; }
.csharpcode .kwrd { color: #0000ff; }
.csharpcode .str { color: #006080; }
.csharpcode .op { color: #0000c0; }
.csharpcode .preproc { color: #cc6633; }
.csharpcode .asp { background-color: #ffff00; }
.csharpcode .html { color: #800000; }
.csharpcode .attr { color: #ff0000; }
.csharpcode .alt
{
background-color: #f4f4f4;
width: 100%;
margin: 0em;
}
.csharpcode .lnum { color: #606060; }

  • TYPE：文件类型，如DIR、REG等，常见的文件类型:

    （1）DIR：表示目录
（2）CHR：表示字符类型
（3）BLK：块设备类型
（4）UNIX： UNIX 域套接字
（5）FIFO：先进先出 (FIFO) 队列
（6）IPv4：网际协议 (IP) 套接字

  • DEVICE：指定磁盘的名称

  • SIZE：文件的大小
  • NODE：索引节点（文件在磁盘上的标识）
  • NAME：打开文件的确切名称

详细使用实例：http://linuxtools-rst.readthedocs.io/zh_CN/latest/tool/lsof.html

2.故障排查

lsof | grep -i delete 或者 lsof +d /tmp 或者 lsof +D /tmp

非常多的fpm进程在操作 /tmp 目录，重启fpm之后。空间释放：

几个资料：

https://mp.weixin.qq.com/s/bEhuc1PPGPuYuA2mQArHLQ

http://linuxtools-rst.readthedocs.io/zh_CN/latest/tool/lsof.html

时间： 2024-10-24 15:19:36

[linux]df 磁盘100%Used告警，du显示目录状态良好的故障排查的相关文章

Linux 系统磁盘空间占满，df 和 du 结果不一致

服务器运行一段时间后df查看磁盘剩余空间不足,通过du统计发现被几个文件占用,遂删除之.过了一段时间磁盘空间再次不足,通过du统计却找不到那么多大文件.搜索后才得知原因:文件删除后空间没有释放,du统计不到这部分文件:需要通过lsof排查,然后kill文件进程.以下记录排查处理过程: df查看分区使用情况 df(Disk Free) 以磁盘分区为单位查看文件系统,获取硬盘被占用空间和剩余空间等信息.df 默认显示的文件大小单位Byte:使用命令df -h,以KB,MB,GB为单位,提高可读性.

Linux 查看文件夹大小，磁盘剩余空间（du/df）

1. 简介 du查看目录大小,df查看磁盘使用情况. 2. du disk usage (1)基本功能 递归查看文件夹下所有文件的大小 (2)常用参数: -h, –human-readable 以可读性较好的方式显示尺寸(例如:1K 234M 2G) -s, –summarize 只分别计算命令列中每个参数所占的总用量 (3)其它参数说明: -a, –all 输出所有文件的磁盘用量,不仅仅是目录 –apparent-size 显示表面用量,而并非是磁盘用量:虽然表面用量通常会小一些,但有时它会因

4.1 df命令；4.2 du命令；4.3——4.4 磁盘分区

4.1 df命令 1.1 查看磁盘分区命令:df [[email protected] ~]# df 磁盘分区空间有空余,无法在写入,原因:inode空间占满了! 第一列--文件系统:分区名称 第二列--1K-块:这块分区的总大小 第三列--已用:已经使用了多少 第四列--可用:还剩下多少 第五列--已用%:可用的百分比 第六列--挂载点 --分区挂载的目录路径 1.2 分区大小以可读单位显示: [[email protected] ~]# df -h 磁盘分区空间有空余,无法在写入,原因:in

Linux ：linux系统磁盘（fdisk、partprobe、mkfs、mount、df、sort、swap、inode、block）

02. linux系统磁盘概念 磁盘的结构体系 01. 磁盘的物理结构 (外部结构 内部结构) 工作原理(先切换磁头 让磁头镜像运动) OK 02. 磁盘阵列说明 (raid0 raid1 raid5 raid10 raid01) 磁盘阵列如何配置 配置LVM L 逻辑 v 卷组 M 管理 逻辑卷管理 --> 实现可以随意调整磁盘分区大小 03. 磁盘分区概念 给容量较小的磁盘进行分区: 小于2T fdisk 给容量较大的磁盘进行分区: 大于2T parted 04. 磁盘格式化操作(创建文件系

(转)Linux磁盘空间监控告警

Linux磁盘空间监控告警 原文:http://www.cnblogs.com/kerrycode/p/3415242.html Linux系统中需要监控磁盘各分区的使用情况,避免由于各种突发情况,造成磁盘空间被消耗殆尽的情况,例如某个分区被Oracle的归档日志耗尽,导致后续的日志文件无法归档,这时ORACLE数据库就会出现错误.监控磁盘空间的使用情况,其实有许多工具,例如Nagios等,其实最简单的还是使用Shell脚本.下面就介绍一下如何通过Shell脚本和Crontab作业结合来实现对磁

linux下磁盘占用达到100%了,找不到哪些大文件耗尽了磁盘。

Linux下的根分区使用率100%,但是查看/分区下的目录都不大,没有占用满,这该怎么处理? 重启是肯定有效的,目前处理情况:重新restart应用后,空间释放出来 1.lsof | grep deletd 2.reboot 重启 linux下磁盘占用达到100%了,找不到哪些大文件耗尽了磁盘. Linux下使用df -lh 查看磁盘时: /dev/sda1 130G 123G 353M 100% / 磁盘快用尽了, 但我这边就是查找不到具体是哪些大文件占用的. 1.如果是大文件占用了,那么查询

Linux df 与du用法

df 查看一级目录的大小,但是不能查看文件的大小.du 可以查看目录或者文件大小. 1 df的基本用法 df命令可以显示目前所有文件系统的总空间及当前可用空间,用法如下: -a 全部文件系统列表-h 方便阅读方式显示-H 等于"-h",但是计算式,1K=1000,而不是1K=1024-i 显示inode信息-k 区块为1024字节-l 只显示本地文件系统-m 区块为1048576字节--no-sync 忽略 sync 命令-P 输出格式为POSIX--sync 在取得磁盘信息前,先执行

Linux df和du命令

df 功能 显示目前所有档案系统的最大可用空间及使用情形 参数 -a:显示全部的档案系统和各分割区的磁盘使用情形 -i:显示i -nodes的使用量 -k:大小用k来表示 (默认值) -t:显示某一个档案系统的所有分割区磁盘使用量 -x:显示不是某一个档案系统的所有分割区磁盘使用量 -T:显示每个分割区所属的档案系统名称 du 功能 查询档案或目录的磁盘使用空间 参数 -a:显示全部目录和其次目录下的每个档案所占的磁盘空间 -b:大小用bytes来表示 (默认值为k bytes) -c:最后再加

Linux 磁盘空间大小统计du命令常见用法

在 Linux下,可以对某个文件或文件夹所占空间大小进行统计,这里将一些常用用法汇总如下: 1.对指定文件或文件夹进行统计,缺省单位为kbyte(k或千字节),下例对文件夹testa进行统计: [[email protected] ~]$ du -s testa 1589308    testa 2.对文件夹统计的正确做法,如果想知道某个文件夹所占空间的大小,用什么命令?直接用du可以吗? 可以是可以,但是,它会将该文件夹底下所有目录都统计一遍,显然,这不是我们想要的.正确的做法是使用 -s操作