压缩工具,神奇的RAID以及逻辑卷管理的PE,PA,LV,VG

Linux系统中常用的压缩和解压工具

压缩:以时间换空间的操作:

压缩的原理:标记和替换

压缩比:压缩之前与压缩之后的文件的大小的比值

纯文本文件的压缩比比较大,视频图形等压缩比相对比较小

能够实现压缩功能的工具:

compress/uncompress:扩展名.z

gzip/gunzip:扩展名.gz

bzip2/bunzip2:扩展名.bz2

xz/unxz:扩展名.xz  目前压缩比最高的工具

zip/unzip:扩展名.zip  应用在Windows中

gzip:

gzip, gunzip, zcat - compress or expand files

zcat:不用解压直接读取内容

-d 解压缩 gzip -d = gunzip

-# 以指定的压缩比进行压缩,1-9,9是最高,默认是6

-c 将压缩结果输出到标准输出,不会对原文件进行压缩

gzip -c /PATH/TO/FILE > /PATH/TO/CDMPRESS_FILE.gz

bzip2:

bzip2, bunzip2 - a block-sorting file compressor, v1.0.6

bzcat - decompresses files to stdout

-# 以指定的压缩比进行压缩,1-9,9是最高,默认是6

-k 保留原文件不删除,创建新的压缩文件

xz:

xz,  unxz,  xzcat,- Compress or decompress .xz files

-d 解压缩

-# 以指定的压缩比进行压缩,1-9,9是最高,默认是6

-k 保留原文件不删除,创建新的压缩文件

tar:归档程序

tape archive:磁带档案

tar [OPTION...] [FILE]...

主选项:

-c 创建档案文件

-x 释放档案文件的内容

-t 查看档案文件中包含的文件

-u/-r 向档案文件中添加新的文件

辅助选项:

-f 指定档案的文件的路径

-C 释放档案文件的内容时,指定释放路径

-z 在创建档案文件时,调用gzip进行压缩

-j 在创建档案文件时,调用bzip2进行压缩

-J 在创建档案文件时,调用xz进行压缩(可能不支持)

--exclude 在释放档案文件时,排除某个文件

-k 在释放文件时,不会覆盖同名文件

ln命令:

ln [option...] src_file link_file

-s, --symbolic:创建符号链接,省略该选项,即创建硬链接;

-v:显示链接创建的过程;

注意:创建符号链接时,如果想要保证该链接文件被复制或移动到其他路径中依然可以,最好链接至被链接文件的绝对路径;

版本管理:

apache:

2.2  2.4

将不同的版本的软件分别放置于不同的目录中,使用符号链接,将软件链接的一个统一的路径:

/usr/local/apache --> /usr/local/apache-2.2

/usr/local/apache-2.2

/usr/local/apache-2.4

user.sh --> user1.sh

user1.sh user2.sh user3.sh

什么是RAID

RAID:Redundant Arrays of Inexpensive Disks

即:廉价磁盘冗余阵列

Redundant Arrays of Independent Disks

独立磁盘冗余阵列

1988年由加利福尼亚大学伯克利分校(University of California-Berkeley)提出的“A Case for Redundant Arrays of Inexpensive Disks”。

旨在将多个相对廉价的IDE接口的磁盘合成一个“阵列”来提供更好的IO性能、实现磁盘冗余,或者两者都提供。

RAID

提高IO能力:

磁盘并行读写

提高耐用性;

磁盘冗余来实现

级别:多块磁盘组织在一起的工作方式有所不同

RAID实现的方式:

外接式磁盘阵列:通过扩展卡提供适配能力

内接式RAID:主板集成RAID控制器

安装OS前在BIOS里配置

Software RAID:

RAID级别

RAID-0:条带卷,strip

RAID-1: 镜像卷,mirror

RAID-2

..

RAID-5

RAID-6

RAID-10

RAID-01

RAID-0:

读、写性能提升;

可用空间:N*min(S1,S2,...)

无容错能力

最少磁盘数:2, 2

RAID-1:

读性能提升、写性能略有下降;

可用空间:1*min(S1,S2)

有冗余能力

最少磁盘数:2, 2+

RAID-4: (几个工作盘,一个校验盘)

多块数据盘异或运算值,存于专用校验盘

坏了一块硬盘仍然可以继续工作的模式称为降级模式

校验盘压力最大,很容易形成性能瓶颈;

RAID-5: (几个工作盘轮流做校验盘)

读、写性能提升

可用空间:(N-1)*min(S1,S2,...)

有容错能力:允许最多1块磁盘损坏

最少磁盘数:3, 3+

RAID-6: (两个校验盘,校验两次)

读、写性能提升

可用空间:(N-2)*min(S1,S2,...)

有容错能力:允许最多2块磁盘损坏

最少磁盘数:4, 4+

RAID混合类型级别

RAID-10:

读、写性能提升

可用空间:N*min(S1,S2,...)/2

有容错能力:每组镜像最多只能坏一块

最少磁盘数:4, 4+

RAID-01、RAID-50

RAID7:可以理解为一个独立存储计算机,自身带有操作系统和管理工具,可以独立运行,理论上性能最高的RAID模式

JBOD:Just a Bunch Of Disks

功能:将多块磁盘的空间合并一个大的连续空间使用

至少需要2块

可用空间:sum(S1,S2,...)

常用级别:RAID-0, RAID-1, RAID-5, RAID-10, RAID-50, JBOD

实现方式:

硬件实现方式

软件实现方式

CentOS 6上的软件RAID的实现:

结合内核中的md(multi devices)模块实现;

mdadm:模式化工具

命令的语法格式:

mdadm [mode] <raiddevice> [options] <component-devices>

支持的RAID级别:LINEAR, RAID0, RAID1, RAID4, RAID5, RAID6, RAID10,...

模式:

创建模式:-C

装配模式:-A

监控模式:-F

管理模式:-f, -r, -a

<raiddevice>:/dev/md#

<component-devices>:任意块设备,注意如果是分区的话,其分区类型要改为fd

-C:创建模式

-n #:使用#个块设备来创建此RAID

-l #:指明要创建的RAID的级别

-a {yes|no}:自动创建目标RAID设备的设备文件

-c CHUNK_SIZE:指明块大小, 默认值为512K

-x #:指明空闲盘的个数

例如:创建一个10GB可用空间的RAID5

混杂模式

显示RAID的详细信息

-D

mdadm -D /dev/md#

停止md设备:

mdadm -S /dev/md0

管理模式:

-f:为指定的磁盘或分区添加损坏标记

-a:添加磁盘或分区到md设备中

-r:从md设备中移除磁盘或分区

装配模式:Assemble

-A

用于将停止的RAID设备重新装配使之能够正常工作。

在装配RAID设备的时候,需要依赖/etc/mdadm.conf文件进行

mdadm -D --scan >> /etc/mdadm.conf

mdadm -S /dev/md2

mdadm -S /dev/md0

mdadm -C -n 2 -l 0 /dev/sdc /dev/sdf

mdadm -A /dev/md2

mdadm /dev/md2 -a /dev/md0

观察md的状态:

cat /proc/mkstat

watch命令:

-n #:刷新时间间隔,单位为秒,默认为1秒;

watch -n # ‘COMMEND

LVM2

Logical Volume Manager,逻辑卷管理器,Version 2

IBM

使用纯软件的方式组织一个或多个底层的块设备,将它们重新定义为一个逻辑块设备的解决方案;

利用内核中的dm模块实现;

dm:device mapper,设备映射表

dm模块可以将一个或多个底层块设备组织成一个逻辑块设备;

用户空间中的相应命令来向dm模块发出系统调用,就可以完成后逻辑块设备的管理;

逻辑块设备统一存放在/dev/dm-#

使用DM机制实现LVM管理的步骤:

1.创建并表示物理卷,PV

注意:如果用来创建物理卷的设备是普通分区,一定要将分区的ID修改为8e;

2.基于PV创建卷组,逻辑块设备,创建的卷组的同时指定PE的大小;

注意:一旦PE大小被指定,就不允许更改;

3.在已经创建的卷组中创建逻辑卷

4.在逻辑卷中创建文件系统(高级格式化)

5.挂载

物理卷的管理操作:

pvcreate:创建物理卷

pvdisplay:显示物理卷的详细信息

pvs:显示物理卷的简单信息

pvremove:删除物理卷

pvmove:将某个物理卷中的所有的PE移动到其他物理卷中;

卷组的管理操作:

vgcreate:创建卷组

-s #{kKmMgG}:指定PE的大小,如果省略该选项,默认的PE为4M;

vgremove:删除卷组

vgextend:扩展卷组容量,将新的pv添加到卷组中

vgextend VolumeGroupName PhysicalDevicePath [PhysicalDevicePath...]

vgreduce:缩减卷组容量,将pv从卷组中移除;在做此操作之前,应该先使用pvmove,保证被移除的pv上没有被占用的PE;

vgreduce VolumeGroupName PhysicalDevicePath [PhysicalDevicePath...]

vgdisplay:显示卷组的详细信息

vgs:显示卷组的简短信息

逻辑卷的管理操作:

lvcreate:创建逻辑卷

-L LV_SIZE(#{kK|mM|gG}):指定逻辑卷的大小,不能超过卷组的容量;

-l #%{FREE|VG|ORIGIN|PVS}:指定逻辑卷占用对应存储单元的百分比;

-n LV_NAME:指定逻辑卷的名称

-i #:在创建逻辑卷的时候,以条带的方式创建,并指明这个逻辑卷上有#个条带

-I #:在创建逻辑卷的时候,以条带的方式创建,并指明CHUNK的大小;

lvremove:移除逻辑卷

lvdisplay:显示逻辑卷的详细信息

lvs:显示逻辑卷的简短信息

lvchange:修改LV的状态

-ay:激活逻辑卷

-an:停用逻辑卷

lvextend:扩展逻辑卷的空间,

注意:一定要先扩展逻辑卷的物理边界,再扩展逻辑卷的逻辑边界;

使用ext系列文件系统的时候,resize2fs命令扩展逻辑边界;

扩大逻辑卷的物理边界:

lvextend -L [+]SIZE /PATH/TO/LVM

如果SIZE有+:表示在原有逻辑卷容量的基础上,增加SIZE空间

如果SIZE无+:表示将逻辑卷的容量扩大到SIZE空间

扩大逻辑卷的逻辑边界:

e2fsck /PATH/TO/LVM

[-f] /PATH/TO/LVM

lvreduce:缩减逻辑卷的空间

注意:先缩减逻辑卷的逻辑边界,再缩减逻辑卷的物理边界;

使用ext系列文件系统的时候,resize2fs命令缩减逻辑边界

lvreduce -L [-]SIZE /PATH/TO/LVM

如果SIZE有-:表示在原有逻辑卷容量的基础上,削减SIZE空间

如果SIZE无-:表示将逻辑卷的容量直接削减至SIZE空间

umount /PATH/TO/LVM

e2fsck /PATH/TO/LVM            //强制校验数据一致性

resize2fs -f /PATH/TO/LVM LV_SiZE //修改逻辑卷的逻辑边界,LV_SIZE为调整后的逻辑卷大小

lvchange -an /PATH/TO/LVM      //关闭逻辑卷

lvreduce -L [+]SIZE /PATH/TO/LVM  //修改逻辑卷的物理边界,大小要和逻辑边界保持一致

lvchange -ay /PATH/TO/LVM      //重新激活逻辑卷

mount /PATH/TO/LVM /PATH/TO/LVM_MOUNT_POINT

为了更方便的使用逻辑卷,为/dev/dm-#设备创建了两个符号链接文件:

/dev/mapper/VG_NAME-LV_NAME --> ../dm-#

/dev/VG_NAME/LV_NAME --> ../dm-#

逻辑卷的快照:

快照,本身也是一种逻辑卷;目标逻辑卷的另外一个访问路径;

快照是特殊的逻辑卷,它是在生成快照时存在的逻辑卷的准确拷贝

对于需要备份或者复制的现有数据集临时拷贝以及其它操作来说,快照是最合适的选择。

快照只有在它们和原来的逻辑卷不同时才会消耗空间。

在生成快照时会分配给它一定的空间,但只有在原来的逻辑卷或者快照有所改变才会使用这些空间

当原来的逻辑卷中有所改变时,会将旧的数据复制到快照中。

快照中只含有原来的逻辑卷中更改的数据或者自生成快照后的快照中更改的数据

也可以使用lvextend扩展快照卷。

快照就是将当时的系统信息记录下来,就好像照相一般,若将来有任何数据改动了,则原始数据会被移动到快照区,没有改动的区域则由快照区和文件系统共享。

由于快照区与原本的LV共用很多PE的区块,因此快照去与被快照的LV必须要要在同一个VG上!系统恢复的时候的文件数量不能高于快照区的实际容量。

快照逻辑卷

lvcreate -L SNAPSHOT_SIZE -s -p r -n SNAPSHOT_NAME /PATH/TO/ORIGIN_LVM

-L SIZE:指定快照逻辑卷的大小

-s:创建一个快照逻辑卷

-p r:创建处理的逻辑卷是只读权限

-n SNAPSHOT_NAME:指定快照逻辑卷的名称

三个命令:

df命令:

df - report file system disk space usage

df [OPTION]... [FILE]...

-h, --human-readble:单位转换

-l, --local:只显示本地文件系统,不显示网络文件系统

-i, --inodes:显示inode使用状态

-T, --print-type:显示文件系统类型

-P, --portability:使用POSIX输出格式,更易于阅读

du命令:

du - estimate file space usage

du [OPTION]... [FILE]...

-s, sumary,:显示整个目录汇总的文件大小

-h, human-readble:单位转换

dd命令:convert and copy a file

dd [OPERAND]...

dd OPTION

常见的OPERAND:

dd if=/PATH/FROM/SRC of=/PATH/TO/DEST

bs=BYTES:block size, 复制单元大小

count=N:复制多少个bs

of=FILE:写到所命名的文件而不是到标准输出

if=FILE:从所命名文件读取而不是从标准输入

ibs=BYTES:一次读size个byte

obs=BYTES:一次写size个byte

skip=BLOCKS:从开头忽略blocks个ibs大小的块

seek=BLOCKS:从开头忽略blocks个obs大小的块

conv=conversion[,conversion...]:用指定的参数转换文件。

转换参数:

ascii:转换EBCDIC为ASCII。

ebcdic:转换ASCII为EBCDIC。

block:把每一行转换为长度为cbs的记录,不足部分用空格填充。

unblock:使每一行的长度都为cbs,不足部分用空格填充。

lcase:把大写字符转换为小写字符。

ucase:把小写字符转换为大写字符。

swab:交换输入的每对字节。

noerror:读取出错时继续读取。

notrunc:不截短输出文件。

sync:把每个输入块填充到ibs个字节,不足部分用空(NULL)字符补齐

磁盘拷贝:

~]# dd if=/dev/sda of=/dev/sdb

备份MBR:

~]# dd if=/dev/sda of=/tmp/mbr.bak bs=512 count=1

破坏MBR中的bootloader:

~]# dd if=/dev/zero of=/dev/sda bs=64 count=1 seek=446

有二进制文件fileA,size>2K。现在想从第64个字节位置开始读取,需要读取的大小是128Byts。又有fileB, 想把上面读取到的128Bytes写到第32个字节开始的位置,替换128Bytes,请问如何实现?

~]# dd if=fileA of=fileB bs=1 count=128 skip=63 seek=31 conv=notrunc

备份:

将本地的/dev/sdx整盘备份到/dev/sdy

~]# dd if=/dev/sdx of=/dev/sdy将本地的/dev/sdx整盘备份到/dev/sdy

将/dev/sdx全盘数据备份到指定路径的image文件

~]# dd if=/dev/sdx of=/path/to/image

备份/dev/sdx全盘数据,并利用gzip工具进行压缩,保存到指定路径

~]# dd if=/dev/sdx | gzip >/path/to/image.gz

恢复:

将备份文件恢复到指定盘

~]# dd if=/path/to/image of=/dev/sdx

将压缩的备份文件恢复到指定盘

~]# gzip -dc /path/to/image.gz | dd of=/dev/sdx

拷贝内存资料到硬盘

将内存里的数据拷贝到root目录下的mem.bin文件

~]# dd if=/dev/mem of=/root/mem.bin bs=1024

从光盘拷贝iso镜像

拷贝光盘数据到root文件夹下,并保存为cd.iso文件

~]# dd if=/dev/cdrom of=/root/cd.iso

销毁磁盘数据

利用随机的数据填充硬盘,在某些必要的场合可以用来销毁数据。执行此操作以后,/dev/sda1将无法挂载,创建和拷贝操作无法执行。

~]# dd if=/dev/urandom of=/dev/sda1

得到最恰当的block size

通过比较dd指令输出中所显示的命令执行时间,即可确定系统最佳的block size大小

~]# dd if=/dev/zero bs=1024 count=1000000 of=/root/1Gb.file

~]# dd if=/dev/zero bs=2048 count=500000 of=/root/1Gb.file

~]# dd if=/dev/zero bs=4096 count=250000 of=/root/1Gb.file

~]# dd if=/dev/zero bs=8192 count=125000 of=/root/1Gb.file

测试硬盘读写速度

通过上两个命令输出的执行时间,可以计算出测试硬盘的读/写速度

~]# dd if=/root/1Gb.file bs=64k | dd of=/dev/null

~]# dd if=/dev/zero of=/root/1Gb.file bs=1024 count=1000000

修复硬盘

当硬盘较长时间(比如1,2年)放置不使用后,磁盘上会产生消磁点。当磁头读到这些区域时会遇到困难,并可能导致I/O错误。当这种情况影响到硬盘的第一个扇区时,可能导致硬盘报废。上边的命令有可能使这些数据起死回生。且这个过程是安全,高效的。

~]# dd if=/dev/sda of=/dev/sda

时间: 2024-10-19 02:03:25

压缩工具,神奇的RAID以及逻辑卷管理的PE,PA,LV,VG的相关文章

RAID和逻辑卷管理器(LVM)

什么是RAID    RAID:RedundantArrays of Inexpensive(Independent)Disks 廉价的独立磁盘    1988年由加利福尼亚大学伯克利分校(University of California-Berkeley)"A Case for Redundant Arrays of Inexpensive Disks"    多个磁盘合成一个"阵列"来提供更好的性能.冗余,或者两者都提供    RAID    提高IO能力   

lVM逻辑卷管理相关总结

创建.管理LVM: 创建分区 Disk /dev/xvdc: 2147 MB, 2147483648 bytes 255 heads, 63 sectors/track, 261 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 byt

mount挂载,dd 工具,配置配额系统,RAID阵列,逻辑卷管理器LVM

mount mount挂载 vim /etc/fstab 将常用的挂载的设备写入系统表中 文件挂载配置文件 /etc/fstab /etc/fstab每行定义一个要挂载的文件系统: 要挂载的设备或伪文件系统 挂载点 文件系统类型 挂载选项 转储频率 自检次序 要挂载的设备或伪文件系统: 设备文件.LABEL(LABEL="").UUID(UUID="").伪文件系统名称(proc, sysfs) 挂载选项:defaults 转储频率:0:不做备份 每天转储 每隔一天

LVM逻辑卷管理-软RAID磁盘阵列

LVM逻辑卷管理软RAID磁盘阵列管理################################################# 一.LVM逻辑卷管理 1. 基本概念    Logical Volume Manager        ** 多个物理分区/磁盘 ==> 组合成一个整体 ==>划分逻辑存储单位,即逻辑卷        ** 逻辑分区的大小可以根据需要扩大.缩减        ** /boot 用来存放引导文件,不能使用LVM逻辑卷(启动时会找不到内核) PV(Physica

RAID(独立冗余磁盘阵列)与LVM(逻辑卷管理器)

RAID(独立冗余磁盘阵列)RAID 0:数据依次写入不同的硬盘,提升速度,但不具备数据备份和错误修复功能.RAID 1:将同一个数据分别写入2个硬盘(一个作为在用,一个作为备份),提升安全性,成本加大,速度不变.RAID 5:将硬盘设备的数据奇偶校验信息保存到其他硬盘设备中,出问题后通过再其他盘的parity重建损坏数据.成本有所增加,安全性提升,速度有所提升.RAID 10:通过RAID1和RAID0组合,采用4个硬盘组成,每2个盘组成一个RAID1,然后用组成的RAID1,组成RAID10

CentOS 6.3下配置LVM(逻辑卷管理)

一.简介 LVM是逻辑盘卷管理(Logical Volume Manager)的简称,它是Linux环境下对磁盘分区进行管理的一种机制,LVM是建立在硬盘和分区之上的一个逻辑层,来提高磁盘分区管理的灵活性. LVM的工作原理其实很简单,它就是通过将底层的物理硬盘抽象的封装起来,然后以逻辑卷的方式呈现给上层应用.在传统的磁盘管理机制中,我们的上层应用是直接访问文件系统,从而对底层的物理硬盘进行读取,而在LVM中,其通过对底层的硬盘进行封装,当我们对底层的物理硬盘进行操作时,其不再是针对于分区进行操

存储5——逻辑卷管理LVM

1. LVM概念 LVM是 Logical Volume Manager(逻辑卷管理)的简写,它由Heinz Mauelshagen在Linux 2.4内核上实现.LVM将一个或多个硬盘的分区在逻辑上集合,相当于一个大硬盘来使用,当硬盘的空间不够使用的时候,可以继续将其它的硬盘的分区加入其中,这样可以实现磁盘空间的动态管理,相对于普通的磁盘分区有很大的灵活性. 与传统的磁盘与分区相比,LVM为计算机提供了更高层次的磁盘存储.它使系统管理员可以更方便的为应用与用户分配存储空间.在LVM管理下的存储

linux逻辑卷管理

最近在进行linux充电,根据网络资料自己整理的资料,分享一下 ---------------------------------------------------------- Linux逻辑卷管理 1.什么是逻辑卷? LVM是逻辑卷管理(Logical Volume Manager)的简称,他是建立在物理存储设备之上的一个抽象层,允许你生成逻辑存储卷,和直接使用物理存储在管理上相比,提供了更好灵活性. LVM将存储虚拟化,使用逻辑卷,你不会受限于物理磁盘的大小,另外,和硬件相关的存储设置被

linux高级文件系统管理概述:处理交换分区、设置文件系统配额、配置raid和逻辑卷

8月26号,学习了linux(CentOS6.8)文件系统管理,内容颇多,主要分为如下几个部分: 一.处理交换分区和文件及移动介质的使用 二.常见工具free,df,du,dd的使用 三.设置文件系统配额 四.配置raid 五.配置逻辑卷 六.btrfs文件系统 一.处理交换分区和文件及移动介质的使用 交换分区是系统RAM的补充 基本设置包括: 创建交换分区或者文件 使用mkswap写入特殊签名 在/etc/fstab文件中添加适当的条目 使用swapon -a 激活交换空间 1.挂载交换分区