Linux磁盘管理
I/O Ports: I/O设备地址；
一切皆文件：
open(), read(), write(), close()
块设备：block，存取单位“块”，磁盘
字符设备：char，存取单位“字符”，键盘
设备文件：关联至一个设备驱动程序，进而能够跟与之对应硬件设备进行通信；
设备号码：
主设备号：major number, 标识设备类型
次设备号：minor number, 标识同一类型下的不同设备
硬盘接口类型：
并行：
IDE：133MB/s
SCSI：640MB/s
串口：
SATA：6Gbps
SAS：6Gbps
USB：480MB/s
rpm: rotations per minute
/dev/DEV_FILE
磁盘设备的设备文件命名：
IDE: /dev/hd
SCSI, SATA, SAS, USB: /dev/sd
不同设备：a-z
/dev/sda, /dev/sdb, ...
同一设备上的不同分区：1,2, ...
/dev/sda1, /dev/sda5
机械式硬盘：
track：磁道
cylinder: 柱面
secotr: 扇区
512bytes
如何分区：
按柱面
0磁道0扇区：512bytes
MBR: Master Boot Record
446bytes: boot loader
64bytes：分区表
16bytes: 标识一个分区
2bytes: 55AA
4个主分区；
3主分区+1扩展(N个逻辑分区)
逻辑分区
问题：UEFI, GPT？
分区管理工具：fdisk, parted, sfdisk
fdisk：对于一块硬盘来讲，最多只能管理15分区；
# fdisk -l [-u] [device...]
# fdisk device
子命令：管理功能
p: print, 显示已有分区；
n: new, 创建
d: delete, 删除
w: write, 写入磁盘并退出
q: quit, 放弃更新并退出
m: 获取帮助
l: 列表所分区id
t: 调整分区id
查看内核是否已经识别新的分区：
# cat /proc/partations
通知内核重新读取硬盘分区表：
partx -a /dev/DEVICE
-n M:N
kpartx -a /dev/DEVICE
-f: force
CentOS 5: 使用partprobe
partprobe [/dev/DEVICE]
Linux文件系统管理：
Linux文件系统: ext2, ext3, ext4, xfs, btrfs, reiserfs, jfs, swap
swap: 交换分区
光盘：iso9660
Windows：fat32, ntfs
Unix: FFS, UFS, JFS2
网络文件系统：NFS, CIFS
集群文件系统：GFS2, OCFS2
分布式文件系统：ceph,
moosefs, mogilefs, GlusterFS, Lustre
根据其是否支持"journal"功能：
日志型文件系统: ext3, ext4, xfs, ...
非日志型文件系统: ext2, vfat
文件系统的组成部分：
内核中的模块：ext4, xfs, vfat
用户空间的管理工具：mkfs.ext4, mkfs.xfs, mkfs.vfat
Linux的虚拟文件系统：VFS
创建文件系统：
mkfs命令：
(1) # mkfs.FS_TYPE /dev/DEVICE
ext4
xfs
btrfs
vfat
(2) # mkfs -t FS_TYPE /dev/DEVICE
-L ‘LABEL‘: 设定卷标
mke2fs：ext系列文件系统专用管理工具
-t {ext2|ext3|ext4}
-b {1024|2048|4096}
-L ‘LABEL‘
-j: 相当于 -t ext3
mkfs.ext3 = mkfs -t ext3 = mke2fs -j = mke2fs -t ext3
-i #: 为数据空间中每多少个字节创建一个inode；此大小不应该小于block的大小；
-N #：为数据空间创建个多少个inode；
-m #: 为管理人员预留的空间占据的百分比；
-O FEATURE[,...]：启用指定特性
-O ^FEATURE：关闭指定特性
mkswap：创建交换分区
mkswap [options] device
-L ‘LABEL‘
前提：调整其分区的ID为82；
其它常用工具：
blkid：块设备属性信息查看
blkid [OPTION]... [DEVICE]
-U UUID: 根据指定的UUID来查找对应的设备
-L LABEL：根据指定的LABEL来查找对应的设备
e2label：管理ext系列文件系统的LABEL
# e2label DEVICE [LABEL]
tune2fs：重新设定ext系列文件系统可调整参数的值
-l：查看指定文件系统超级块信息；super block
-L ‘LABEL‘：修改卷标
-m #：修预留给管理员的空间百分比
-j: 将ext2升级为ext3
-O: 文件系统属性启用或禁用
-o: 调整文件系统的默认挂载选项
-U UUID: 修改UUID号；
dumpe2fs：
-h：查看超级块信息
文件系统检测：
fsck: File System CheCk
fsck.FS_TYPE
fsck -t FS_TYPE
-a: 自动修复错误
-r: 交互式修复错误
Note: FS_TYPE一定要与分区上已经文件类型相同；
e2fsck：ext系列文件专用的检测修复工具
-y：自动回答为yes;
-f：强制修复；
vfs: xfs, ext{2|3|4}, btrfs
文件系统管理：
将额外文件系统与根文件系统某现存的目录建立起关联关系，进而使得此目录做为其它文件访问入口的行为称之为挂载；
解除此关联关系的过程称之为卸载；
把设备关联挂载点：Mount Point
mount
卸载时：可使用设备，也可以使用挂载点
umount
注意：挂载点下原有文件在挂载完成后会被临时隐藏；
挂载方法：mount DEVICE MOUNT_POINT
mount：通过查看/etc/mtab文件显示当前系统已挂载的所有设备
mount [-fnrsvw] [-t vfstype] [-o options] device dir
device：指明要挂载的设备；
(1) 设备文件：例如/dev/sda5
(2) 卷标：-L ‘LABEL‘, 例如 -L ‘MYDATA‘
(3) UUID, -U ‘UUID‘：例如 -U ‘0c50523c-43f1-45e7-85c0-a126711d406e‘
(4) 伪文件系统名称：proc, sysfs, devtmpfs, configfs
dir：挂载点
事先存在；建议使用空目录；
进程正在使用中的设备无法被卸载；
常用命令选项：
-t vsftype：指定要挂载的设备上的文件系统类型；
-r: readonly，只读挂载；
-w: read and write, 读写挂载；
-n: 不更新/etc/mtab；
-a：自动挂载所有支持自动挂载的设备；(定义在了/etc/fstab文件中，且挂载选项中有“自动挂载”功能)
-L ‘LABEL‘: 以卷标指定挂载设备；
-U ‘UUID‘: 以UUID指定要挂载的设备；
-B, --bind: 绑定目录到另一个目录上；
注意：查看内核追踪到的已挂载的所有设备：cat /proc/mounts
-o options：(挂载文件系统的选项)
async：异步模式；
sync：同步模式；
atime/noatime：包含目录和文件；
diratime/nodiratime：目录的访问时间戳
auto/noauto：是否支持自动挂载
exec/noexec：是否支持将文件系统上应用程序运行为进程
dev/nodev：是否支持在此文件系统上使用设备文件；
suid/nosuid：
remount：重新挂载
ro：
rw:
user/nouser：是否允许普通用户挂载此设备
acl：启用此文件系统上的acl功能
注意：上述选项可多个同时使用，彼此使用逗号分隔；
默认挂载选项：defaults
rw, suid, dev, exec, auto, nouser, and async
卸载命令：
# umount DEVICE
# umount MOUNT_POINT
查看正在访问指定文件系统的进程：
# fuser -v MOUNT_POINT
终止所有在正访问指定的文件系统的进程：
# fuser -km MOUNT_POINT
挂载交换分区：
启用：swapon
swapon [OPTION]... [DEVICE]
-a：激活所有的交换分区；
-p PRIORITY：指定优先级；
禁用：swapoff [OPTION]... [DEVICE]
内存空间使用状态：
free [OPTION]
-m: 以MB为单位
-g: 以GB为单位
文件系统空间占用等信息的查看工具：
df:
-h: human-readable
-i：inodes instead of blocks
-P: 以Posix兼容的格式输出;
查看某目录总体空间占用状态：
du：
du [OPTION]... DIR
-h: human-readable
-s: summary
命令总结：mount, umount, free, df, du, swapon, swapoff, fuser
文件挂载的配置文件：/etc/fstab
每行定义一个要挂载的文件系统；
要挂载的设备或伪文件系统 挂载点 文件系统类型 挂载选项 转储频率 自检次序
要挂载的设备或伪文件系统：
设备文件、LABEL(LABEL="")、UUID(UUID="")、伪文件系统名称(proc, sysfs)
挂载选项：
defaults
转储频率：
0：不做备份
1：每天转储
2：每隔一天转储
自检次序：
0：不自检
1：首先自检；一般只有rootfs才用1；
...
文件系统上的其它概念：
Inode: Index Node, 索引节点
地址指针：
直接指针：
间接指针：
三级指针：
inode bitmap：对位标识每个inode空闲与否的状态信息；
链接文件：
硬链接：
不能够对目录进行；
不能跨分区进行；
指向同一个inode的多个不同路径；创建文件的硬链接即为为inode创建新的引用路径，因此会增加其引用计数；
符号链接：
可以对目录进行；
可以跨分区；
指向的是另一个文件的路径；其大小为指向的路径字符串的长度；不增加或减少目标文件inode的引用计数；
ln [-sv] SRC DEST
-s：symbolic link
-v: verbose
文件管理操作对文件的影响：
文件删除：
文件复制：
文件移动：
练习：
1、创建一个20G的文件系统，块大小为2048，文件系统ext4，卷标为TEST，要求此分区开机后自动挂载至/testing目录，且默认有acl挂载选项；
(1) 创建20G分区；
(2) 格式化：
mke2fs -t ext4 -b 2048 -L ‘TEST‘ /dev/DEVICE
(3) 编辑/etc/fstab文件
LABEL=‘TEST‘ /testing ext4 defaults,acl 0 0
2、创建一个5G的文件系统，卷标HUGE，要求此分区开机自动挂载至/mogdata目录，文件系统类型为ext3；
3、写一个脚本，完成如下功能：
(1) 列出当前系统识别到的所有磁盘设备；
(2) 如磁盘数量为1，则显示其空间使用信息；
否则，则显示最后一个磁盘上的空间使用信息；
if [ $disks -eq 1 ]; then
fdisk -l /dev/[hs]da
else
fdisk -l $(fdisk -l /dev/[sh]d[a-z] | grep -o "^Disk /dev/[sh]d[a-]" | tail -1 | cut -d‘ ‘ -f2)
fi
RAID:
Redundant Arrays of Inexpensive Disks
Independent
Berkeley: A case for Redundent Arrays of Inexpensive Disks RAID
提高IO能力：
磁盘并行读写；
提高耐用性；
磁盘冗余来实现
级别：多块磁盘组织在一起的工作方式有所不同；
RAID实现的方式：
外接式磁盘阵列：通过扩展卡提供适配能力
内接式RAID：主板集成RAID控制器
Software RAID：
级别：level
RAID-0：0, 条带卷，strip;
RAID-1: 1, 镜像卷，mirror;
RAID-2
..
RAID-5：
RAID-6
RAID10
RAID01
RAID-0:
读、写性能提升；
可用空间：N*min(S1,S2,...)
无容错能力
最少磁盘数：2, 2+
RAID-1：
读性能提升、写性能略有下降；
可用空间：1*min(S1,S2,...)
有冗余能力
最少磁盘数：2, 2+
RAID-4：
1101, 0110, 1011
RAID-5：
读、写性能提升
可用空间：(N-1)*min(S1,S2,...)
有容错能力：1块磁盘
最少磁盘数：3, 3+
RAID-6：
读、写性能提升
可用空间：(N-2)*min(S1,S2,...)
有容错能力：2块磁盘
最少磁盘数：4, 4+
混合类型
RAID-10：
读、写性能提升
可用空间：N*min(S1,S2,...)/2
有容错能力：每组镜像最多只能坏一块；
最少磁盘数：4, 4+
RAID-01:
RAID-50、RAID7
JBOD：Just a Bunch Of Disks
功能：将多块磁盘的空间合并一个大的连续空间使用；
可用空间：sum(S1,S2,...)
常用级别：RAID-0, RAID-1, RAID-5, RAID-10, RAID-50, JBOD
实现方式：
硬件实现方式
软件实现方式
CentOS 6上的软件RAID的实现：
结合内核中的md(multi devices)
mdadm：模式化的工具
命令的语法格式：mdadm [mode] <raiddevice> [options] <component-devices>
支持的RAID级别：LINEAR, RAID0, RAID1, RAID4, RAID5, RAID6, RAID10;
模式：
创建：-C
装配: -A
监控: -F
管理：-f, -r, -a
<raiddevice>: /dev/md#
<component-devices>: 任意块设备
-C: 创建模式
-n #: 使用#个块设备来创建此RAID；
-l #：指明要创建的RAID的级别；
-a {yes|no}：自动创建目标RAID设备的设备文件；
-c CHUNK_SIZE: 指明块大小；
-x #: 指明空闲盘的个数；
例如：创建一个10G可用空间的RAID5；
-D：显示raid的详细信息；
mdadm -D /dev/md#
管理模式：
-f: 标记指定磁盘为损坏；
-a: 添加磁盘
-r: 移除磁盘
观察md的状态：
cat /proc/mdstat
停止md设备：
mdadm -S /dev/md#
watch命令：
-n #: 刷新间隔，单位是秒；
watch -n# ‘COMMAND‘
练习1：创建一个可用空间为10G的RAID1设备，要求其chunk大小为128k，文件系统为ext4，有一个空闲盘，开机可自动挂载至/backup目录；
练习2：创建一个可用空间为10G的RAID10设备，要求其chunk大小为256k，文件系统为ext4，开机可自动挂载至/mydata目录；
博客作业：raid各级别特性；
LVM2:
LVM: Logical Volume Manager， Version: 2
dm: device mapper，将一个或多个底层块设备组织成一个逻辑设备的模块；
/dev/dm-#
/dev/mapper/VG_NAME-LV_NAME
/dev/mapper/vol0-root
/dev/VG_NAME/LV_NAME
/dev/vol0/root
pv管理工具：
pvs：简要pv信息显示
pvdisplay：显示pv的详细信息
pvcreate /dev/DEVICE: 创建pv
vg管理工具：
vgs
vgdisplay
vgcreate [-s #[kKmMgGtTpPeE]] VolumeGroupName PhysicalDevicePath [PhysicalDevicePath...]
vgextend VolumeGroupName PhysicalDevicePath [PhysicalDevicePath...]
vgreduce VolumeGroupName PhysicalDevicePath [PhysicalDevicePath...]
先做pvmove
vgremove
lv管理工具：
lvs
lvdisplay
lvcreate -L #[mMgGtT] -n NAME VolumeGroup
lvremove /dev/VG_NAME/LV_NAME
扩展逻辑卷：
# lvextend -L [+]#[mMgGtT] /dev/VG_NAME/LV_NAME
# resize2fs /dev/VG_NAME/LV_NAME
缩减逻辑卷：
# umount /dev/VG_NAME/LV_NAME
# e2fsck -f /dev/VG_NAME/LV_NAME
# resize2fs /dev/VG_NAME/LV_NAME #[mMgGtT]
# lvreduce -L [-]#[mMgGtT] /dev/VG_NAME/LV_NAME
# mount
快照：snapshot
lvcreate -L #[mMgGtT] -p r -s -n snapshot_lv_name original_lv_name
练习1：创建一个至少有两个PV组成的大小为20G的名为testvg的VG；要求PE大小为16MB, 而后在卷组中创建大小为5G的逻辑卷testlv；挂载至/users目录；
练习2： 新建用户archlinux，要求其家目录为/users/archlinux，而后su切换至archlinux用户，复制/etc/pam.d目录至自己的家目录；
练习3：扩展testlv至7G，要求archlinux用户的文件不能丢失；
练习4：收缩testlv至3G，要求archlinux用户的文件不能丢失；
练习5：对testlv创建快照，并尝试基于快照备份数据，验正快照的功能；
文件系统挂载使用：
挂载光盘设备：
光盘设备文件：
IDE: /dev/hdc
SATA: /dev/sr0
符号链接文件：
/dev/cdrom
/dev/cdrw
/dev/dvd
/dev/dvdrw
mount -r /dev/cdrom /media/cdrom
umount /dev/cdrom
dd命令：convert and copy a file
用法：
dd if=/PATH/FROM/SRC of=/PATH/TO/DEST
bs=#：block size, 复制单元大小；
count=#：复制多少个bs；
磁盘拷贝：
dd if=/dev/sda of=/dev/sdb
备份MBR
dd if=/dev/sda of=/tmp/mbr.bak bs=512 count=1
破坏MBR中的bootloader：
dd if=/dev/zero of=/dev/sda bs=256 count=1
两个特殊设备：
/dev/null: 数据黑洞；
/dev/zero：吐零机；
博客作业：lvm基本应用，扩展及缩减实现；
回顾：lvm2, dd
lvm: 边界动态扩展或收缩；快照；
pv --> vg --> lv
PE:
LE:
dd: 复制
btrfs文件系统：
技术预览版
Btrfs (B-tree, Butter FS, Better FS), GPL, Oracle, 2007, CoW;
ext3/ext4, xfs
核心特性：
多物理卷支持：btrfs可由多个底层物理卷组成；支持RAID，以联机“添加”、“移除”，“修改”；
写时复制更新机制(CoW)：复制、更新及替换指针，而非“就地”更新；
数据及元数据校验码：checksum
子卷：sub_volume
快照：支持快照的快照；
透明压缩：
文件系统创建：
mkfs.btrfs
-L ‘LABEL‘
-d <type>: raid0, raid1, raid5, raid6, raid10, single
-m <profile>: raid0, raid1, raid5, raid6, raid10, single, dup
-O <feature>
-O list-all: 列出支持的所有feature；
属性查看：
btrfs filesystem show
挂载文件系统：
mount -t btrfs /dev/sdb MOUNT_POINT
透明压缩机制：
mount -o compress={lzo|zlib} DEVICE MOUNT_POINT
子命令：filesystem, device, balance, subvolume