压缩解压缩工具等

Linux中常有的压缩和解压缩工具

压缩:以时间换空间的一种操作

压缩的原理:标记和替换

压缩比:压缩之前与压缩之后的文件的比值

纯文本文档压缩比较大

视频图像压缩比小

能够实现压缩功能的工具

compress/uncompress: .Z扩展名

gzip/gunzip:.gz扩展名

bzip2/bunzip2:.bz2扩展名

xz/unxz:.xz扩展名  目前压缩比最高的工具

zip/unzip:.zip扩展名

gzip:

gzip, gunzip, zcat - compress or expand files

-d:解压缩

-#:以指定的的压缩比进行压缩 1-9  最高是9 默认是6

-c:将压缩结果输出到标准输出,不会对原文件进行压缩

gzip -c /PATH/TO/FILE > /PATH/TO/COMPRESS_FILE.gz

bzip2

bzip2, bunzip2 - a block-sorting file compressor, v1.0.6

bzcat - decompresses files to stdout

-d:解压缩

-#:指定压缩比 1-9  默认是6

-k:保留源文件不删除创建新的压缩文件

xz:

xz, unxz, xzcat, - Compress or decompress .xz and .lzma files

-d:解压缩

-#: 指定压缩比

-k:保留源文件不删除创建新的压缩文件

tar:归档程序

磁带档案

tar [OPTION...] [FILE]..

主选项:

-c:创建档案文件

-x:释放档案文件的内容

-t:查看档案文件中包含的文件

-u/-r:向档案文件中添加新的文件

辅助选项:

-f:指定档案文件的路径 必须放在文件前面

-C:在释放档案文件中的内容时指定释放的路径

-z:在创建档案文件时调用gzip进行压缩

-j:在创建档案文件时调用bzip2进行压缩

-J:在创建档案文件时调用xz进行压缩 (可能不支持)

--exclude:在释放档案文件时,排除某个文件

-k:在释放文件的时候,不会覆盖同名文件

两种特殊文件:

设备文件:

mknod 设备名称 主设备号 次设备号

符号链接文件:

路径

链接:就是访问一个文件的不同的路径;

硬链接:数据块指针指向同一个数据块文件;不能跨文件系统创建硬链接;不能对目录文件建硬链接

符号链接(软链接):用于存储被连接文件的路径的文件;可以跨文件系统创建,也可以对目录创建;但是每次都必须进行两组路径的查找;

ln

ln [option..] 源文件(src_file) 链接文件(link_file)

-s: 创建符号链接,省略该选项,即创建硬链接

-v:显示连接创建的过程

注意:创建符号链接时,如果想要保证该链接文件被复制或被移动到其他路径中依然可用,最好链接至被链接文件的绝对路径

版本管理:

apache: 2.2 2.4

将不同的版本的软件分别放置于不同的目录中,使用符号链接,将软件链接到一个统一路径,

RAID:

IDE:

SCSI:

Redundant Array of Inexpensive Disks廉价磁盘冗余阵列

Redundant Array of independent Disks独立磁盘冗余阵列

RAID的功能:

提高整个存储设备的IO效率:使多个磁盘实现并行读写;磁盘条带化,chunk

提高耐用性: 依靠磁盘冗余实现; 即使磁盘发生故障或损坏也不会影响数据;

RAID实现方式:

硬件实现:通过硬件RAId控制器或适配器将所需的磁盘组织成RAID,而后安装OS;

BIOS程序设置RAID阵列

软件模拟实现:利用操作系统通过系统调用方式来模拟RAID实现;性能低

RAID:

IDE:

SCSI:

Redundant Array of Inexpensive Disks廉价磁盘冗余阵列

Redundant Array of independent Disks独立磁盘冗余阵列

RAID的功能:

提高整个存储设备的IO效率:使多个磁盘实现并行读写;磁盘条带化,chunk

提高耐用性: 依靠磁盘冗余实现; 即使磁盘发生故障或损坏也不会影响数据;

RAID实现方式:

硬件实现:通过硬件RAId控制器或适配器将所需的磁盘组织成RAID,而后安装OS;

BIOS程序设置RAID阵列

软件模拟实现:利用操作系统通过系统调用方式来模拟RAID实现;性能低

RAID的操作级别

RAID0:提高IO性能,条带卷strip;至少两块磁盘,没有冗余容错能力;没有存储空间的浪费;要求每个磁盘必须提供相同大小的存储空间;

RAID1:镜像卷 mirror;提供高可用性,需要两块磁盘;现将数据存入主盘,再将数据存入从盘;写入效率较低,略微提高读效率;磁盘空间整体利用率为50%;有冗余容错的能力

RAID2:

RAID4:具有容错能力的条带卷;多块磁盘进行异或运算,得到所谓的校验值,并且使用专门的一块磁盘存放校验值,即使有一块磁盘损坏,也不会丢失数据;校验盘IO压力巨大,很容易形成性能瓶颈;

RAID5:多块磁盘进行循环冗余校验,将校验值随机分配到不同的磁盘条带中;读写IO性能均明显提升,又不会出现性能瓶颈;磁盘利用率=(n-1)/n*100% ;冗余容错能力,至少需要3块磁盘;

RAID6:多块磁盘进行两轮循环冗余校验,将校验值随机分配到两个不同的磁盘条带中;读写IO性能均明显提升,又不会出现性能瓶颈;最多允许两块磁盘出现损坏或发生故障依然保证数据可用;代价就是增加了计算校验值的时间;

RAID混合级别

RAID01:先做RAID0,在做RAID1

RAID10:先做RAID1,在做RAID0

RAID50:先做RAID5,在做RAID0

RAID7:可以理解为一个存储计算机,自带操作系统以及相应的管理工具,可以独立运行

JBOD:Just a Bunch of Disks,仅仅就是一组磁盘;将多块磁盘的存储空间连接到一起,顺序存放数据;

在centos上可以实现软RAID:

内核提供一个md的模块(multi disks,multi devices)

用户空间需要mdadm的工具来设置和修改md内核模块的参数;

mdadm: 模式化工具

mdadm [mode] <raiddevice> [option...] <component device>

模式包括:

创建模式:-C

-n #:使用#块磁盘来创建RAID

-l #:指示RAID级别

-a {yes|no}: 允许或不允许系统自动创建md设备文件

-c chunk-size:默认512k 必须是2的n次方 指定chunk大小

-x #:指定在阵列中空闲磁盘的数量

装配模式:-A

根据/etc/mdadm.conf指示的RAID进行装配

管理模式:-a添加硬件设备 -r删除 -f标记失效

杂项:-D --scan显示RAID的详细信息  mdadm -D --scan > /etc/mdadm.conf

该配置文件用于RAID设备的再次装配

-S停止RAID设备

-G增长模式加新磁盘

cat /proc/mdstat 查看模拟化

dd:转换和拷贝文件

LVM2

Logical Volume Manager 逻辑卷管理器 Version 2

IBM

使用纯软件的方式组织一个或多个底层的块设备,将他们重新定义为一个逻辑块设备的解决方案

利用内核中的dm模块实现;

dm:device mapper 设备映射表

dm模块可以将一个或多个底层块设备组织成一个逻辑块设备;

用户空间中的相应命令向dm模块发出系统调用,就可以完成后逻辑块设备的管理

逻辑块设备统一的存放在/dev/dm-#(数字)

使用dm机制实现LVM管理的步骤

1.创建并标识物理卷,PV

注意:如果用来创建吴丽娟的设备式普同分区,一定要将分区的iD是8e

2.基于PV创建卷组,逻辑块设备,创建卷组的同时指定PE的大小

注意:一旦PE大小被指定,就不允许更改

3. 在已经创建的卷组中创建逻辑卷,

4.在逻辑卷中创建文件系统(高级格式化)

5.挂载

物理卷的管理操作

pvcreate:创建物理卷

pvdisplay:显示物理卷的详细信息

pvs:显示物理卷的简单信息

pvremove:删除物理卷

pvmove:将某个物理卷中的所有的PE移动到其他物理卷中

卷组的管理操作

vgcreate:创建卷组

-s#{kKmMgG}:指定PE大小,省略默认PE式4M

vgremove:删除卷组

vgextend:扩展卷组容量,将新的PV添加到卷组中

vgreduce:缩减卷组容量,将PV从卷组中移除,在做此次操作之前,应该先使用pvmove,保证被移除的pv上没有被占用的PE

vgdisplay:显示卷组的详细信息

vgs:显示卷组的简单信息

逻辑卷的管理操作

lvcr

eate:创建逻辑卷

-L LV_SIZE(#(KkMmGg)): 指定逻辑卷的大小,不能超过卷组的容量

-l #%{FREE|VG|ORIGIN|PVS}: 指定逻辑卷占用对应存储单元的百分比

-n 指定逻辑卷的名称

-i #: 在创建逻辑卷的时候以条带的方式创建,并指明这个逻辑卷上有#个条带

-I #:在创建逻辑卷的时候,以条带的方式创建,并指明chunk的大小

lvremove:移除逻辑卷

lvdisplay:显示逻辑卷的详细信息

lvs:显示逻辑卷的剑短信息

lvchange:修改LV的状态

-ay:激活逻辑卷

-an:停用逻辑卷

lvextend:扩展逻辑卷的空间,一定要先扩展逻辑卷的物理边界,在扩展逻辑卷的逻辑边界

使用ext系列文件系统的时候,resize2fs命令扩展逻辑边界

lvreduce:缩短逻辑卷的空间

先缩减逻辑边界,在缩小物理边界

使用ext系列文件系统的时候,resize2fs命令缩减逻辑边界

为了方便的使用逻辑卷,为/dev/dm-#设备创建了两个符号链接文件:

/dev/mapper/vg_name-lv_name --> ../dm-#

/dev/vg_name/lv_name --> ../dm-#

逻辑卷的快照:

快照,本身也是一种逻辑卷;目标逻辑卷的另外一个访问路径;

lvcreat -s -p r -L 50G -n mylv_snopshot /dev/myvg/mylv

时间: 2024-10-08 12:59:36

压缩解压缩工具等的相关文章

AntZipUtils【基于Ant的Zip压缩解压缩工具类】

版权声明:本文为博主原创文章,未经博主允许不得转载. 前言 Android 压缩解压zip文件一般分为两种方式: 基于JDK的Zip压缩工具类 该版本存在问题:压缩时如果目录或文件名含有中文,压缩后会变成乱码: 使用Java的zip包可以进行简单的文件压缩和解压缩处理时,但是遇到包含中文汉字目录或者包含多层子目录的复杂目录结构时,容易出现各种各样的问题. 基于Ant的Zip压缩工具类 需要第三方JAR包:Apache的ant.jar: 解决了上面存在的问题. 效果图 代码分析 常用的方法: 压缩

mac电脑解压缩工具哪个好用

压缩文件是很多朋友经常遇到的,Mac电脑的朋友你用的是哪款解压缩软件呢?mac电脑解压缩工具哪个好用呢?本人亲自试验了几款非常不错的解压缩软件,一起来看看吧! 1.Archiver 3 Archiver 3 for Mac是一个非常多才多艺的解压缩工具,它可以解压你所有的档案.你可以提取RAR,StuffIt,Zip,7zip和更多的档案文件格式. Archiver 3 for Mac配有强大的选项,以便您可以根据自己的需求进行调整. 设置压缩级别,选择一个默认的输出文件夹,解压缩后自动删除压缩

谢烟客---------Linux之压缩解压缩及归档工具的使用

压缩工具 compress/uncompress:  .Z结尾 gzip/gunzip: .gz结尾 bzip2/bunzip2: .bz2结尾 xz/unxz: .xz后缀 压缩及归档工具: zip/unzip 归档工具: tar,cpio(特殊场景) gzip/gunzip/zcat命令 1.LZ77压缩算法 2.压缩比不高:快速.高效 3.压缩/解压缩后删除原文件,为了节约空间 4.纯文本压缩,二进制压缩意义不大 5.压缩目录,-r gzip [OPTIONS...] FILE     -

【linux_笔记】Linux_文件管理命令—压缩解压缩及归档基本工具

学习资源来自:www.magedu.com 学习记录过程中难免出现错误,如有发现,还望大神们指出. 示例操作部分有的与历史操作有关,如果先前的示例操作没有执行过的话,可能会有部分示例的操作无法执行.示例仅供参考.(示例见附件) 文件管理命令--压缩解压缩及归档基本工具 压缩.解压缩命令 压缩格式:gz, bz2, xz, zip, Z 压缩算法:算法不同,压缩比也会不同: 早期    压缩:        compress(压缩比很小): FILENAME.Z -- 压缩后的文件名    解压:

Linux压缩与解压缩工具

一.简述 压缩是一种通过特定的算法来减少计算机文件大小的机制,因减少文件的大小,使文件能通过网络实现更快传输,此外还减少了文件的磁盘占用空间.反向就是解压缩 二,工具 1,compress / umcompress 后缀名 .Z,很老的压缩工具,已经过时了. 2,gip , bzip2, xz (1) gzip / gunzip :压缩 / 解压缩 都会删除原文件 语法:gzip [选项] 压缩(解压缩)文件名 后缀名:.gz #    常用选项: #    -# : 压缩比,默认为6,范围1到

Linux压缩归档工具

压缩工具: 1> zip,unzip 格式:  #zip 压缩文件名 原文件名 1.递归的压缩一个目录及目录下的文件: #zip -r var-log-dir  /var/log 2.压缩目录下的多个文件: #zip var-log-files  /var/log/*此方法不会递归压缩子目录下的文件. 3.查看解压缩过程中的详细信息: #unzip -v  压缩文件 4.在不解压的情况下查看压缩文件里的文件列表: #unzip -l 压缩文件 5.检查压缩文件的完整性: #unzip -t 压缩

mac上安装unrar和rar解压缩工具

问题描述: mac上默认不支持 rar压缩,但是从windows过来的很多文件,以及邮件中的附件都是通过rar的方式进行压缩的,所以考虑在mac上也能够进行解压缩rar文件 步骤: 1:首先到网站click here上下载RAR 5.10 beta 4 for Mac OS.    2:在terminal下执行执行解压缩命令:tar xvf rarosx-5.1.b4.tar进行解压 3:进入刚刚解压的rar目录中,cd downloads/rar 4:使用如下命令进行安装 mac上安装unra

2016-8-28 压缩解压缩及归档 while脚本

文件管理命令――压缩解压缩及归档基本工具 压缩.解压缩命令 压缩格式:gz, bz2, xz, zip, Z 压缩算法:算法不同,压缩比也会不同: 早期    压缩:        compress(压缩比很小): FILENAME.Z ―― 压缩后的文件名    解压:        uncompress gzip.bzip2.xz只能压缩文件,并且默认压缩完成后删除源文件,zip可以压缩目录 gzip: .gz    gzip /PATH/TO/SOMEFILE:压缩完成后会删除原文件   

常见的压缩归档工具

常用压缩工具原理: 因为1byte=8bit,一个字节等于8位二进制数,所以每个byte当中会有8个空格,而每个空格可以是0,1.如此以来我存储一个字符1,1会在最右边占据一个bit,而其它7个bit将会被自动被填上0.其实那7个bit应该是空的.为了满足我们操作系统对数据的访问,所以会将该数据转为byte的形态来记录.压缩即:利用一些复杂的计算方式,将没有使用到的空间丢出去,以让文件占用的空间变小. 另外一种方式:将重复的数据进行统计记录,例如你存储100个1,那么压缩技术会存储100个1,而