gzip压缩文件损坏修复原理和数据恢复方法

接修复损坏的gzip压缩文件之原理篇,再次引用GZIP结构图:

已知修复一个损坏的gzip文件的关键环节在于找到下一个正常压缩包的起始点。根据结构图中的信息可知,每个压缩包的开始结构中有是否到达尾部标志、使用的哈夫曼树类型、以及3个哈夫曼树的树元素个数等。如果某个gzip文件中间有一个坏扇区,要找到坏扇区后的一个正常起点,仅需按位右移,一直移位到可以正常解压的某个位,就可能找到了正确的压缩包起始。而根据gzip文件的压缩作业窗口为32KB大小推算,这个遍历不会超过64KB即可找到。在内存中快速循环可以很快找到,但需要有明确的判断错误的方法。
首先可以明确的是结尾标志,应该为0(我们是从损坏的点向后查)。而哈夫曼树类型也大致应该是动态哈夫曼(0x02),cl1的元素个数应该取值为257到286之间(包含边界),cl2的元素个数应小于等于30,ccl的元素个数取值可为1-15(包含边界)。
其实,还可以参考的东西有,解开的哈夫曼树是否异常,或者通过规律性原则找到最后一个取值为256的值,但这些算法应该是较为麻烦的,有上面的算法连续校验几个压缩块就足够了。
具体方法是对gzip的源码做修改,进行遍历。因时间关系,未做成通用工程,仅快速修改了部分代码。大致的修改点为:

一,找到损坏点:

在unzip.c中,
error("invalid compressed data--format violated");
这一行前,获取当前解码字节位置即可。
?

二、遍历找到损坏点:

1、inflate.c文件中,改

if (nl > 286 || nd > 30)
#endif
return 1;

为:

if (nl > 286 || nd > 30||nl <257 || nd <1)
#endif
return 1;

2、inflate.c文件中,在int inflate_block(e)函数中
在如下代码前

bb = b;?
bk = k;

加入代码:

if ((t != 2) || (*e != 0))?
return 2;

3、inflate.c文件中,在int inflate_block(e)函数尾部
把if (t == 0) 与if (t == 1)的情况都直接返回错误值2。
?
4、inflate.c文件中,函数int inflate()中,改

if ((r = inflate_block(&e)) != 0)?
return r;?
end

为:

unsigned t;?????????? /* block type */?
register ulg b;?????? /* bit buffer */?
register unsigned k;? /* number of bits in bit buffer */?
while (inptr <= insize)?
{?
??? unsigned int tptr = inptr;?
??? unsigned int tbk = bk;?
??? unsigned long tbb = bb;?
??? unsigned int twp = wp;?
??? long long tstart = *(long long*)(inbuf + tptr);?
??? if ((r = inflate_block(&e)) != 0)?
??? {?
??????? inptr = tptr;?
??????? bb = tbb;?
??????? bk = tbk;?
??????? wp = twp;?
??????? b = bb;?
??????? k = bk;?
??????? NEEDBITS(1)?
??????? DUMPBITS(1)?
??? }?
??? else?
??? {?
??????? printf("get by?www.datahf.net!"); //也可输出tstart,bb,bk 值,转载时请保留版权信息:www.datahf.net张宇?
??? }?
}?

此4步完成后,试着调试这个错误的.gz文件,当然,也可以在代码中解释完头部结构后加一个seek,直接seek到损坏位置。
通常情况下,输出printf(“get by?www.datahf.net!”)这行代码时,已经找到了正确的起始位。
找到起始位后,也可以构造或拷贝一个正常的gzip文件头,再拼接好找到的位流,即可解压了。(如果位流不是字节对齐的,可能要全部做位移)。拼接后很多压缩文件就可以打开甚至于解压了,不过,有可能会报错,主要是尾部的校验和大小错,其实可以忽略。
如果拼接好了linux下,不能直接用“gzip –d”解压,因其crc有错误,会导致解压到99%后报错,然后把文件删除,换成管道命令即可:

原文地址:https://blog.51cto.com/sun510/2430980

时间: 2024-08-01 19:04:08

gzip压缩文件损坏修复原理和数据恢复方法的相关文章

修复损坏的gzip压缩文件之原理篇

引言:UNIX/LINUX下大多数都是用gzip格式来做文件的压缩方案的,而gzip文件损坏的情况也屡见不鲜,常见的有遇到坏扇区.压缩进程io阻塞,或恢复后的压缩文件被破坏等.因近期有做关于gzip文件的修复研究,特分为三个篇章对此成果进行表述,分别为原理篇,方法篇,案例篇.此为第一部分原理篇. gzip的压缩算法本质上是deflate(zip也几乎都用),这个算法其实是由LZ77算法加上一个变形的哈夫曼编码组成的.大概算法流程是:"原始数据--->LZ77--->哈夫曼 "

linux gzip(压缩文件或者目录)

减少文件大小有两个明显的好处,一是可以减少存储空间,二是通过网络传输文件时,可以减少传输的时间.gzip是在Linux系统中经常使用的一个对文件进行压缩和解压缩的命令,既方便又好用.gzip不仅可以用来压缩大的.较少使用的文件以节省磁盘空间,还可以和tar命令一起构成Linux操作系统中比较流行的压缩文件格式.据统计,gzip命令对文本文件有60%-70%的压缩率. 1.命令格式: gzip[参数][文件或者目录] 2.命令功能: gzip是个使用广泛的压缩程序,文件经它压缩过后,其名称后面会多

170814、Java使用gzip压缩文件、还原文件

package com.rick.utils; import java.io.*; import java.util.zip.GZIPInputStream; import java.util.zip.GZIPOutputStream; /******************************************************** *@Desc: gizp工具类 *@Author: ZRP *@Date: 2017/11/9 9:31 ********************

python gzip 压缩文件

压缩数据创建gzip文件 先看一个略麻烦的做法 ? 1 2 3 4 5 6 import StringIO,gzip content = 'Life is short.I use python' zbuf = StringIO.StringIO() zfile = gzip.GzipFile(mode='wb', compresslevel=9, fileobj=zbuf) zfile.write(content) zfile.close() 但其实有个快捷的封装,不用用到StringIO模块

数据库文件损坏修复

[场景]:对象浏览器中只有数据库名,数据库展不开,查看日志[由于数据库没有完全关闭,无法重新生成日志.],推测原因是服务器异常关停,造成数据库没有正常写完数据造成. [处理方法]:修复数据,舍弃异常数据.DBCC CHECKDB (mydb, REPAIR_ALLOW_DATA_LOSS),前提是要在单用户下 [完整的处理方法]: ALTER DATABASE [mydb] SET EMERGENCY --EMERGENCY状态下 数据库标记为 READ_ONLY,并禁用日志记录,并且仅限 sy

修复损坏的gz或tar.gz压缩文件之方法篇

接修复损坏的gzip压缩文件之原理篇,再次引用GZIP结构图: 在上一篇中已知,修复一个损坏的gzip文件的关键环节在于找到下一个正常压缩包的起始点.根据结构图中的信息可知,每个压缩包的开始结构中有是否到达尾部标志.使用的哈夫曼树类型.以及3个哈夫曼树的树元素个数等.如果某个gzip文件中间有一个坏扇区,要找到坏扇区后的一个正常起点,仅需按位右移,一直移位到可以正常解压的某个位,就可能找到了正确的压缩包起始.而根据gzip文件的压缩作业窗口为32KB大小推算,这个遍历不会超过64KB即可找到.在

视频文件损坏怎么修复

视频文件损坏了该怎么修复呢?来自江苏南京的一个客户通过网络搜索联系到了甲驭科技数据恢复中心,原来,他用索尼机器录制的mxf格式的视频文件存储在硬盘中,因为硬盘出故障,导致里面的所有视频素材都损坏无法播放了,但是文件大小那些都正常,只是播放提示无法渲染,这可急坏了他,里面有很多客户的视频素材还没给客户交差呢? 客户联系到甲驭科技数据恢复中心后,甲驭客服具体了解了该客户的故障情况,原来该客户是用索尼EX280录制的mxf格式的视频,硬盘不知道出现了什么问题,里面所有问题到损坏了,初步怀疑是中病毒了,

linux 压缩文件的命令总结

Linux压缩文件的读取 ·    *.Z       compress 程序压缩的档案: ·    *.bz2     bzip2 程序压缩的档案: ·    *.gz      gzip 程序压缩的档案: ·    *.tar     tar 程序打包的数据,并没有压缩过: ·    *.tar.gz  tar 程序打包的档案,其中并且经过 gzip 的压缩! ·    *.zip     zip 程序压缩文件 ·    *.rar     rar 程序压缩文件 Compress压缩文件 [

实现在线压缩文件的实现程序代码

[引入using System.Diagnostics;using Microsoft.Win32;] #region 使用GZip压缩文件,返回bool值 /// <param name="FileSource">要压缩的源文件名</param> /// <param name="FileTarget">压缩后的文件名</param> /// <returns>压缩后的成功类型</returns&g