一、Inode与block
1、概述
磁盘被分区并格式化为ext4文件系统后,会生成一定数量的inode和block
Inode 索引节点
作用:存放文件的属性信息以及作为文件的索引(指向文件的实体block)
Block存放的是文件的实际数据
inode存放文件的属性信息以及指向文件实体的指针(block的位置),文件名不在inode里一般在上级目录的block里
系统内部打开文件的步骤
访问文件的过程,通过文件名(上一级目录的block)——>inode ——>blocks
(1)系统找到这个文件名对应的inode号码
(2)通过inode号码,获取inode信息
(3)根据inode信息,找到文件数据所在的block,读出数据
Inode是磁盘的一块存储空间,centos6版本中默认大小256字节
inode的表现形式是一串数字,不同的文件对用的iNode在文件系统里是唯一的
inode节点号相同的文件,互为硬链接文件,可认为是一个文件的不同入口
Ext4文件系统下,一个文件至少要占用一个iNode和一个block(在文件size比较大的情况),多个文件可以占用同一个iNode(硬链接),相同文件;正常情况下,一个文件只能占用一个iNode
Block是用来存储实际数据的,每个block的大小一般只有1k,2k,4k,其中引导分区等为1k,其他普通法分区多为4k
如果一个文件很大,需要占用多个block,如果文件很小,知道占一个block,并且这个block的剩余空间浪费,即无法再存储其他数据
通过df -i 查看inode的数量及使用情况, dumpe2fs /dev/sda3查看 inode及 block的大小及数量
可以再格式化的时候改变iNode及block的大小
ll -i 可以看文件的inode号
查看inode时,三个时间显示,分别是Atime、Mtime、Ctime
Atime:访问时间 查看命令# ls -lu
Mtime:修改内容时间 查看命令# ls -l
Ctime:改变时间(修改文件名、权限等等) 查看命令# ls -lc
2、Inode的大小
Centos 6.x系列:256k
Centos 5 默认是128k
3、看版本号:cat /etc/redhat-release
看具体的内核版本:uname -r
看inode号大小:
dumpe2fs /dev/sda3 | grep -i “inode size”
4、df-i 看inode号
# ls -i 文件名
# stat 文件名
5、df -h看block的容量
6、删除指定的inode号对应的文件
# find ./ -inum inode号 -exec rm -i {} \;
7、查看文件系统的inode与block的信息
# df -i 设备名(在已挂载状态下查询,查询inode总数与已用数量)
# dumpe2fs -h 设备名 (无需挂载)
# tune2fs -l 设备名 (无需挂载)
二、工作中的应用
1、格式化时指定文件系统的inode个数与block大小
# mkfs.ext4 -N inode 数 -b 块大小(单位字节)设备名
2、解决inode耗尽导致的磁盘故障
(1)删除不使用文件
(2)将文件备份,重新格式化此文件系统,指定较多的inode个数
3、查看inode及block的使用量
# df -l
三、Block概述
磁盘读取数据是按block为单位读取的
一个文件可能占用多个block,每读取一个block就会消耗一次磁盘I/O;如果要提升磁盘I/O性能,九要尽可能一次性读取多的数据
Block是用来存储实际数据的,每个block的大小一般只有1k,2k,4k,其中引导分区等为1k,其他普通法分区多为4k
如果一个文件很大,需要占用多个block,如果文件很小,知道占一个block,并且这个block的剩余空间就浪费了,即无法再存储其他数据
企业里文件都会比较大(一般会大于4k),block设置大一些会提高磁盘访问效率(一般选
择4k)
四、面试题
一个100M(100000K)的磁盘分区,分别写入1K的文件或写入1M的文件,分别可以写多少个?
1K虽然小,但block一般默认4K,即使1K的数据也会占用4K大小,存储数据小号block和inode,inode默认256K,每个文件指导占用一个block的同时还会占用一个inode;1M的数据刚好被4整除,不会浪费空间,大约100个左右,inode充足。
如果向磁盘写入数据提示如下错误:No space left on device, 通过df -h查看磁盘空间,发现没满,请问可能原因是什么?企业场景什么情况下会导致这个问题发生?
最可能原因是inode被耗尽;企业工作中右键临时队列/var/spool/postfix/maildrop这里很容易被大量的恶小文件占满导致No space left on device的错误。
五、Linux下扩展名的作用
1.tar,tar.gz,tgz,zip,tar.bz表示压缩文件,创建命令一般为tar,gzip,unzip等
2. .sh表示shell脚本文件,通过shell语言开发的程序
3. .pl表示perl语言文件,通过perl语言开发的程序
4. .py表示python语言文件,通过python语言开发的程序
5. .html,.htm,.php,.jsp,.do表示网页语言的文件
6. .conf表示系统的配置文件
7. .rpm表示rpm安装包文件
Linux文件系统如何选择(扩展)
1. 大量小文件(LOSF,Lost of small files)I/O应用(如小图片)
Reiserfs(首选),Ext4文件系统适合这类负载特征,IO调度算法选择deadline,block size=4096,ext4关闭日志功能;
reiserfs mount参数:-o
defaults,async,noatime,nodiratime,notail,data=writeback;
ext4 mount参数:-o
defaults,async,noatime,nodiratime,data=writeback,barrier=0;
关闭ext4日志:tune2fs -O^has_joumal /dev/sdXX
2.大文件I/O应用(如视频下载,流媒体)
EXT4文件系统适合此类负载特征,IO调度算法选择anticipatory,block size=4096,关闭日志功能,启用extent(default);
mount参数:-o
Defaults,async,noatime,nodiratime,data=writeback,barrier=0;
关闭ext4日志:tune2fs -O^has_joumal /dev/sdXX
3.SSD文件系统选择
EXT4/Reiserfs可以作为SSD文件系统,但未对SSD做优化,不能充分发挥SSD性能,并影响SSD使用时间;
Btrfs对SSD作了优化,mount通过参数启用。但Btrfs扔处于试验阶段,生产环境谨慎使用;
JFFS2/Nilfs2/YAFFS是常用的flash file system,在嵌入式环境广泛应用
六、文件属性软硬连接:
1、概述
链接有两种,一种为硬链接(Hard Link),另一种为软链接或符号链接(Symbolic Link或Soft Link)。
建立硬链接时,链接文件和被链接文件必须位于同一个文件系统中,并且不能建立指向目录的硬链接。而对符号链接,则不存在这个问题。默认情况下,ln产生硬链接。
在硬链接的情况下,参数中的“目标”被链接至[链接名]。如果[链接名]是一个目录名,系统将在该目录之下建立一个或多个与“目标”同名的链接文件,链接文件和被链接文件的内容完全相同。
如果给ln命令加上- s选项,则建立符号链接。如果[链接名]已经存在但不是目录,将不做链接。[链接名]可以是任何一个文件名(可包含路径),也可以是一个目录,并且允许它与“目标”不在同一个文件系统中。如果[链接名]是一个已经存在的目录,系统将在该目录下建立一个或多个与“目标”同名的文件,此新建的文件实际上是指向原“目标”的符号链接文件。
(1)硬链接(hard link) :
在Linux文件系统中,多个文件名指向同一个索引节点(inode)。这种情况文件就称为硬链接。硬链接文件就相当于文件的另外的一个入口。
具有相同inode节点号的多个文件是互为硬链接文件
删除硬链接文件或者删除源文件任意之一,文件实体block并未被删除;只有删除了源文件及所有对应的硬链接文件,文件实体block才会被删除;当所有的硬链接文件及源文件被删除后,再存放新的数据会占用这个文件的空间,或者磁盘fsck检查的时候,删除的数据也会被系统回收。可以通过给文件设置硬链接文件,来防止重要文件被误删
(2)软链接(symbolic link):
软连接又叫做符号链接,它几乎可以等价于windows下的快捷方式;
软连接的创建
软连接:ln -s 源文件 目标文件(目标文件不能已经存在)
软连接知识
软连接类似一个文本文件,里面存放的是源文件的路径,指向源文件实体
删除源文件(可以用rm命令删除),软连接文件依然存在,但是无法访问指向的源文件路径内容了
失效的时候一般是白字红底闪烁提示
执行命令“ln -s 源文件 软连接文件”,即可完成创建软连接(目标不能存在)
软连接和源文件是不同类型的文件,也是不同的文件,inode号也不相同
2、创建软硬链接命令
创建硬链接:# ln 源文件 目标文件
软连接:# ln -s 源文件 目标文件(目标文件不能已经存在,文件类型为l)
文件彻底删除
硬链接文件是普通文件,所以可以用rm命令删除
对应静态文件(没有进程正在调用的文件)来讲,当对应硬链接数为0(i_link),文件就被删除了。
i_link的查看方法
# ls -lhi 第三列的数字就是
硬链接的限制
我们在使用硬链接的同时也需要对硬链接的限制有所了解;
1. 不能跨文件系统
2. 不能链接到目录
3、有关文件的整体总结:
(1)删除软连接,对源文件和硬链接文件都没有影响
(2)删除硬链接,对源文件和软连接文件都没有影响
(3)删除源文件,对硬链接没有影响,但是会导致软连接文件失效,白底红字闪烁
(4)同时删除源文件和硬链接文件,整个文件才会真正的被删除
(5)源文件和硬链接文件具有相同的索引节点号,可以认为是同一个文件或一个文件多个入口
(6)源文件和软连接文件的索引节点号不相同,是不同的文件,软连接文件相当于源文件的快捷方式,含有源文件的位置指向
4、有关目录的总结:
对于目录,不可以创建硬链接,但可以创建软连接
目录的硬链接不能跨越文件系统
每个目录下面都有一个硬链接“.”号,和对应上级目录的硬链接“..”
在父目录里面创建一个子目录,父目录的链接数会增加1(每个子目录里都有“..”指向父目录),但在父目录中创建文件,父目录的链接数不会增加
硬链接数的查看
硬链接,增加链接数,删除源文件,连接仍旧有效
软链接,不增加链接数,但删除源文件,软链接失效
在配置apache时,执行了./configure --prefix=/application/apache2.2.17来编译apache,在make install 完成后,希望用户的访问路径更简单,需要给/application/apache2.2.17目录做一个软链接/application/apache,使得内部开发或管理人员通过/application/apache就可以访问到apache的安装目录/application/apache2.2.17下的内容,请你给出实现的命令。(提示:apache为一个httpd web服务)
思路:
软件的安装位置 /application/apache2.2.17
给开发人员使用的位置 /application/apache2.2.17
升级软件,新的软件的安装位置 /application/apache2.4.17
思考:如何给别人使用的始终是一个路径,即使更新了软件;所以,我们要做软链接,这样不论软件如何更新,通过修改软链接的指向就可以,然后软链接的路径始终不变。
1、创建软链接
# mkdir -p /application/apache2.2.17
# ll -ld /application/apache2.2.17
# ln -s /application/apache2.2.17 /application/apache
# ls -l /application/
2、软件更新了,重新创建软链接
# mkdir -p /application/apache2.4.17
# rm -f application/apache
# ln -s /application/apache2.4.17
# ll /application/
# ln -s /application/apache2.4.17 /application/apache
# ll /application/
3、如图软链接的地址始终不变,不会影响开发人员的使用,这就是实际工作中软链接的意义
为什么目录不能创建硬链接,软链接可以正常创建
硬链接的本质其实就是有多个入口,都可以看到目标文件的内容。这些入口就是门,也就
是硬链接。硬链接其实也就相当于做备份--超市A ---超市A.bak。
软链接就相当于windows的快捷方式,这就如同超市并没有多开新的门,仍旧用的旧门,
只不过告诉你通过多条路都可以来到这个门而已。
因此,对linux来说,硬链接需要系统将目标文件做备份,删除其中的任何一个,文件内容
都不会消失,只不过是删除了其中的一份备份而已;而软链接并没有做备份,他只是多增
加了一条来到门前的通路而已。因此,假如linux允许给目录做硬链接的话,他就同时需要给目录下的所有文件在做一个硬链接,这样会导致系统不断的进行遍历,拖慢系统的运行速度。
描述linux下软链接和硬链接的区别
1,默认不带参数情况下,ln命令创建的是硬链接,带-s参数的ln命令创建的是软链接
2,硬链接文件与源文件的inode节点号相同,而软链接文件的inode节点号与源文件不同。
3,ln命令不能对目录创建硬链接,但可以创建软链接,对目录的软链接会经常被用到。
4,删除软链接文件,对源文件及硬链接文件无任何影响
5,删除文件的硬链接文件,对源文件及软链接文件无任何影响
6,删除链接文件的源文件,对硬链接文件无影响,会导致其软链接失效
7,同时删除源文件及硬链接文件,整个文件才会被真正的删除
8,软链接可以跨文件系统,硬链接不可以跨文件系统
七、Linux文件删除原理
Linux通过link数量控制文件删除,只有当一个文件i_count和i_nlink都为零文件才会被删除,rm删除文件改变的是i_nlink数
正在使用当中的文件,即便你删除了i_nlink(硬链接数),文件实际上也并没有被删除,因为,文件还正在处于读写状态。只有i_count的数也为零时,文件才会被彻底删除。
i_count当前文件被调用的数量(内存引用计数器,被进程调用时增加)
i_nlink截止连接数量(磁盘引用计数器,创建硬链接时增加)
再生产环境中,有时会遇到apache等类似服务,磁盘满了的情况,会要求你去删掉些日
志,如果此时你去删除了,你会发现磁盘空间占用没有改变,还是满的,而且查询不
到。
这是因为,后台进程仍旧在占用着被删掉了的日志文件,因此linux并没有将内容删
除(block),你的删除只是清除了inode和文件名而已。解决这个问题就需要重新启动
apache
较好的处理方案,清空日志而不删除日志>/app/logs/access_log
lsof查看哪个进程在占用,将其kill,就可以rm -f了 ,删除成功
八、恢复误删除的文件(扩展)
针对Linux下的ext文件系统,可用的恢复工具: debugfs,extundelete
extundelete的使用
(1)安装依赖包
e2fsprogs-libs-1.41.12-18.el6.x86_64.rpm
e2fsprogs-devel-1.41.12-18.el6.x86_64.rpm
(2)编译安装
# ls
# tar xf extundelet-0.2.4.tar.bz2 -C /usr/src/
# cd /usr/src/extundelete-0.2.4/
# ls
# ./configure --prefix=/usr/src/extundelete \ > && make && make install
# cp /usr/local/extundelete/bin/extundelete \ > /usr/bin/
(3)执行恢复操作
常用选项
--inode 指定从inode号为多少开始显示
--restore-file 恢复误删除的某个文件
--restore-all 恢复全部已删除的文件
--after dtime 在某个时间点之后删除的文件
--before dtime 在某个时间点之前删除的文件
date -d “日期及时间” +%s 算出某个时间点距离1970年1月1日过去了多少秒
在数据被误删后,第一时间要做的就是卸载被删除数据所在的分区,如果是根分区的数据遭到误删,第一时间要做的就是卸载被删除数据做在的分区,如果是根分区的数据遭到误删,就需要将系统进入单用户模式,并且将根分区已只读模式挂载。 原因:将文件删除后,仅是将文件的iNode节点中的扇区指针清零,世纪文件还储存在磁盘上,如果磁盘继续以读写模式挂载,这些已删除的文件的数据块就可能被操作系统重新分配出去,在这些数据库背心的数据覆盖后,这些数据就真的丢失了,恢复工具也无力回天。所以以只读模式挂载磁盘可以尽量降低数据库中数据被覆盖的风险,以提高恢复数据成功的比例。
恢复/test/passwd/文件
(模拟误删除)
# df -hT
# rm -f /test/passwd
# umount /dev/sdb1
# extundelete /dev/sdb1 --inode 2
(恢复)
# extundelete --restore-file passwd /dev/sdb1
# ls RECOVERED_FILES/
# mount /dev/sdb1 /test/
# mv RECOVERED_FILES/passwd /test/
# ls /test/
九、日志文件
日志文件的分类
(1)内核及系统日志
由系统服务rsyslog管理,根据去主配置文件/etc/rsyslog.conf中的设置决定将内核消息及各种系统程序消息记录到什么位置。
/etc/rsyslog.conf配置文件中,常见的配置格式:
“.” 你后面等级要高(包含该等级)的都记录 eg:“*.info”
“.=” 只记录该等级 eg:“.=debug”
“!” 除了该等级都记录 eg:“!info”
“-” 当有记录信息需要记录时,现存到缓存中,到一定大小时一次性写入,以减少对磁盘读写性能的占用。 eg:“-/var/log/maillog”
(2)用户日志
用于记录Linux系统用户登录及退出系统的相关信息,包括用户名、登陆的终端、登录时间、来源主机、正在使用的进程操作等
(3)程序日志
用于记录本程序运行过程中的各种事件信息。
查看方式
日志消息的级别
数字等级越小,优先级越高,消息越重要
日志文件分析
(1)内核及大多数系统消息
存放位置:/var/log/message
内容解释:
时间标签:消息发出的日期及时间
主机名:生成消息的应用程序的名称
子系统名称:发出消息的应用程序的名称
消息:消息的具体内容
(2)用户日志
存放位置:/var/log/wtmp,/var/log/btmp,/var/log/lastlog
查询命令:users、who、w、last、lastlog、lastb
/var/log/wtmp,一个用户每次登录进入和退出时间的永久记录
/var/log/btmp,记录失败的记录
/var/run/utmp,记录当前登录的每个用户
users命令: 简单输出当前用户的用户名,每一个显示的用户名对应一个会话
who命令:报告当前登录到系统中的每个用户的信息。默认输出包括用户名、终端类型、登录日期及远程主机
w命令:显示当前操作系统中的每个用户及其远程运行的进程信息
last 命令:用于查询成功登录到系统的用户记录,最近的登录情况在最前面
-a 把从何处登入系统的主机名称或IP地址,显示在最后一行。
-d 将IP地址转换成主机名称。
-f 指定记录文件。
-n 或- 设置列出名单的显示列数。
-R 不显示登入系统的主机名称或IP地址。
-x 显示系统关机,重新开机,以及执行等级的改变等信息
lastlog命令:用于显示系统中所有用最近一次登录信息
lastb命令:用于显示用户错误的登录列表,此指令可以发现系统的登录异常
程序日志
存放位置:不固定,一般在/var/log下的子目录中
日志文件分析注意事项:
用户在非常规的时间登录,或者用户登录系统的IP地址和以往不一样的;
用户登录失败的日志记录,尤其是那些一再连续尝试进入失败的日志记录;
非法使用或不正当使用超级用户权限;
无故或者非法启动各项网络服务的记录;
不正常的日志记录,如日志残缺不全,或者是诸如wtmp这样的日志文件无故缺少了中间的记录文件。
日志文件的保护
# chattr +a 增加权限
# chattr +a -R 递归式增加a权限
原文地址:https://www.cnblogs.com/kakajiang/p/9871953.html