LZ77压缩算法编码原理详解(结合图片和简单代码)

前言

  LZ77算法是无损压缩算法,由以色列人Abraham Lempel发表于1977年。LZ77是典型的基于字典的压缩算法,现在很多压缩技术都是基于LZ77。鉴于其在数据压缩领域的地位,本文将结合图片和源码详细介绍其原理。

原理介绍:

  首先介绍几个专业术语。

  1.lookahead buffer(不知道怎么用中文表述,暂时称为待编码区):

  等待编码的区域

  2. search buffer:

  已经编码的区域,搜索缓冲区

  3.滑动窗口:

  指定大小的窗,包含“搜索缓冲区”(左) + “待编码区”(右)

  

  接下来,介绍具体的编码过程:

  为了编码待编码区, 编码器在滑动窗口的搜索缓冲区查找直到找到匹配的字符串。匹配字符串的开始字符串与待编码缓冲区的距离称为“偏移值”,匹配字符串的长度称为“匹配长度”。编码器在编码时,会一直在搜索区中搜索,直到找到最大匹配字符串,并输出(o, l ),其中o是偏移值, l是匹配长度。然后窗口滑动l,继续开始编码。如果没有找到匹配字符串,则输出(0, 0, c),c为待编码区下一个等待编码的字符,窗口滑动“1”。算法实现将类似下面的:

  while( lookAheadBuffer not empty )
{
    get a pointer (position, match) to the longest match 
    in the window for the lookAheadBuffer;

output a (position, length, char());
    shift the window length+1 characters along;
}

  主要步骤为:

  1.设置编码位置为输入流的开始

  2.在滑窗的待编码区查找搜索区中的最大匹配字符串

  3.如果找到字符串,输出(偏移值, 匹配长度), 窗口向前滑动“匹配长度”

  4.如果没有找到,输出(0, 0, 待编码区的第一个字符),窗口向前滑动一个单位

  5.如果待编码区不为空,回到步骤2

  描述实在是太复杂,还是结合实例来讲解吧

实例:

  现在有字符串“AABCBBABC”,现在对其进行编码。

  一开始,窗口滑入如图位置

  

  由图可见,待编码缓冲区有“AAB”三个字符,此时搜索缓冲区还是空的。所以编码第一个字符,由于搜索区为空,故找不到匹配串,输出(0,0, A),窗口右移一个单位,如下图

  

  此时待编码区有“ABC”。开始编码。最先编码"A",在搜索区找到"A"。由于没有超过待编码区,故开始编码"AB",但在搜索区没有找到匹配字符串,故无法编码。因此只能编码"A"。

输出(1, 1)。即为相对于待编码区,偏移一个单位,匹配长度为1。窗口右滑动匹配长度,即移动1个单位。如下图

  

  一样,没找到,输出(0, 0, B),右移1个单号,如下图

  

  输出(0, 0, C),右移1个单位,如下图

  

  输出(2, 1),右移1个单位,如下图

  

  输出(3, 1), 右移1个单位,如下图

  

  开始编码"A",在搜索缓冲区查找到匹配字符串。由于待编码缓冲区没有超过,继续编码。开始编码"AB",也搜索到。不要停止,继续编码“ABC”,找到匹配字符串。由于继续编码,则超过了窗口,故只编码“ABC”,输出(5, 3),偏移5,长度3。右移3个单位,如下图

  

  此时待编码缓冲区为空,停止编码。

  最终输出结果如下

  

python代码实现:

  

  1 class Lz77:
  2     def __init__(self, inputStr):
  3         self.inputStr = inputStr #输入流
  4         self.searchSize = 5    #搜索缓冲区(已编码区)大小
  5         self.aheadSize = 3     #lookAhead缓冲区(待编码区)大小
  6         self.windSpiltIndex = 0 #lookHead缓冲区开始的索引
  7         self.move = 0
  8         self.notFind = -1   #没有找到匹配字符串
  9
 10     #得到滑动窗口的末端索引
 11     def getWinEndIndex(self):
 12         return self.windSpiltIndex + self.aheadSize
 13
 14     #得到滑动窗口的始端索引
 15     def getWinStartIndex(self):
 16         return self.windSpiltIndex - self.searchSize
 17
 18     #判断lookHead缓冲区是否为空
 19     def isLookHeadEmpty(self):
 20         return True if self.windSpiltIndex + self.move> len(self.inputStr) - 1   else False
 21
 22     def encoding(self):
 23         step = 0
 24         print("Step   Position   Match   Output")
 25         while not self.isLookHeadEmpty():
 26             #1.滑动窗口
 27             self.winMove()
 28             #2. 得到最大匹配串的偏移值和长度
 29             (offset, matchLen) = self.findMaxMatch()
 30             #3.设置窗口下一步需要滑动的距离
 31             self.setMoveSteps(matchLen)
 32             if matchLen == 0:
 33                 #匹配为0,说明无字符串匹配,输出下一个需要编码的字母
 34                 nextChar = self.inputStr[self.windSpiltIndex]
 35                 result = (step, self.windSpiltIndex, ‘-‘,  ‘(0,0)‘ + nextChar)
 36             else:
 37                 result = (step, self.windSpiltIndex, self.inputStr[self.windSpiltIndex - offset: self.windSpiltIndex - offset + matchLen], ‘(‘ + str(offset) + ‘,‘ + str(matchLen) + ‘)‘)
 38             #4.输出结果
 39             self.output(result)
 40             step = step + 1        #仅用来设置第几步
 41
 42
 43     #滑动窗口(移动分界点)
 44     def winMove(self):
 45         self.windSpiltIndex = self.windSpiltIndex + self.move
 46
 47     #寻找最大匹配字符并返回相对于窗口分界点的偏移值和匹配长度
 48     def findMaxMatch(self):
 49         matchLen = 0
 50         offset = 0
 51         minEdge = self.minEdge() + 1  #得到编码区域的右边界
 52         #遍历待编码区,寻找最大匹配串
 53         for i in range(self.windSpiltIndex + 1, minEdge):
 54             #print("i: %d" %i)
 55             offsetTemp = self.searchBufferOffest(i)
 56             if offsetTemp == self.notFind:
 57                 return (offset, matchLen)
 58             offset = offsetTemp #偏移值
 59
 60             matchLen = matchLen + 1  #每找到一个匹配串,加1
 61
 62         return (offset, matchLen)
 63
 64     #入参字符串是否存在于搜索缓冲区,如果存在,返回匹配字符串的起始索引
 65     def searchBufferOffest(self, i):
 66         searchStart = self.getWinStartIndex()
 67         searchEnd = self.windSpiltIndex
 68         #下面几个if是处理开始时的特殊情况
 69         if searchEnd < 1:
 70             return self.notFind
 71         if searchStart < 0:
 72             searchStart = 0
 73             if searchEnd == 0:
 74                 searchEnd = 1
 75         searchStr = self.inputStr[searchStart : searchEnd]  #搜索区字符串
 76         findIndex = searchStr.find(self.inputStr[self.windSpiltIndex : i])
 77         if findIndex == -1:
 78             return -1
 79         return len(searchStr) - findIndex
 80
 81     #设置下一次窗口需要滑动的步数
 82     def setMoveSteps(self, matchLen):
 83         if matchLen == 0:
 84             self.move = 1
 85         else:
 86             self.move = matchLen
 87
 88
 89     def minEdge(self):
 90         return len(self.inputStr)  if len(self.inputStr) - 1 < self.getWinEndIndex() else self.getWinEndIndex() + 1
 91
 92     def output(self, touple):
 93         print("%d      %d           %s     %s" % touple)
 94
 95
 96
 97
 98 if __name__ == "__main__":
 99     lz77 = Lz77("AABCBBABC")
100     lz77.encoding()

  只是简单的写了下,没有过多考虑细节,请注意,这不是最终的代码,只是用来阐述原理,仅供参考。输出结果就是上面的输出(格式由于坑爹的博客园固定样式,代码位置有偏移,请注意)

参考文章:

  http://msdn.microsoft.com/en-us/library/ee916854.aspx

  http://en.wikipedia.org/wiki/LZ77_and_LZ78

  http://cs.stanford.edu/people/eroberts/courses/soco/projects/2000-01/data-compression/lossless/lz77/algorithm.htm

  以上几篇文章都是很好的讲解LZ77原理的,大家有兴趣的可以参考下。由于国内介绍该算法的比较少,故这些英文文章帮助还是挺大的。

  

时间: 2024-10-23 05:08:29

LZ77压缩算法编码原理详解(结合图片和简单代码)的相关文章

编码原理详解(五)---熵编码(CAVAL)

上一篇我们讲到了ZigZag扫描,经过这一扫描之后,发现原本是4*4的像素矩阵,就变成了一连串的数字,可以说是二维到一维的一个转换吧,而且经过ZigZag扫描后,一连串的数字的最后大部分为0,以及一些+1,-1.针对这一系列的数字,从概率的角度,再进行一次编码,这个过程称之为熵编码,熵编码主要分为CAVLC,和CABAC,分别代表基于上下文的自适应可变长编码和基于上下文的自适应二进制算术编码,本节介绍CAVLC. 一.简介 CAVLC(Context-Adaptive Variable Leng

编码原理详解(一)----简介

本节开始,给大家系列介绍一下关于编码原理的相关知识,可能会涉及到部分算法的知识,也就意味着会相对枯燥一些,笔者尽自己所能,努力的追求简单,同时把原理清晰的呈现给大家. 一.编码 编码已经是一个老声长谈的问题了,为什么会有编码,原因是原始图像视频的数据量很惊人,不便于传输,之前的文章有介绍,感兴趣可以回去温习下哦:为什么可以编码,原因是图像与图像之间有很多的相似,也就冗余的信息,单一图像内部,相邻区域的像素,相关性也很强,这就为编码创造了前提. 二.编码原理简单介绍 编码的前提是冗余,那么编码的目

几种压缩算法实现原理详解

gzip .zlib以及图形格式png,使用的压缩算法都是deflate算法.从gzip的源码中,我们了解到了defalte算法的原理和实现.我阅读的gzip版本为 gzip-1.2.4.下面我们将要对deflate算法做一个分析和说明.首先简单介绍一下基本原理,然后详细的介绍实现. 1 gzip 所使用压缩算法的基本原理 gzip 对于要压缩的文件,首先使用LZ77算法的一个变种进行压缩,对得到的结果再使用Huffman编码的方法(实际上gzip根据情况,选择使用静态Huffman编码或者动态

crawler_URL编码原理详解

经常写爬虫的童鞋,难免要处理含有中文的url,大部分时间,都知道url_encode,各个语言也都有支持,今天简单整理下原理,供大家科普 1.特征: 如果URL中含有非ASCII字符的话, 浏览器会对URL进行URL_ENCODE, 然后发送给服务器. URL_ENCODE的过程就是把URL作为字符按照某种编码方式(GBK, UTF-8等)编码成二进制的字节码,然后每个字节用一个包含3个字符的字符串 "%xy" 表示,其中xy为该字节的两位十六进制表示形式. URLencode到底按照

编码原理详解(三)---量化

本节开始介绍编码过程中的量化环节.还记得上一篇的变换吗?变换之后得到了一个新的矩阵,一个经过从空域变换到频域的一个矩阵.那么,量化呢,就是基于变换后得到的矩阵,再做进一步的处理,本质也就是进一步的压缩. 一.原理 量化的原理是把变换后的DCT系数除以一个常量,经过量化后的结果是量化步长的整数倍或者为更多的零值,从而达到了压缩的目的. 二.量化公式 q(x, y) = round(F(x, y) / Q + 0.5); 公式说明:F(x, y)为经过DCT变换后的DCT系数, Q为量化步长,在x2

编码原理详解(六)--CABAC

本篇介绍一下熵编码的另外一种方式CABAC,基于上下文的自适应二进制编码,其同样是对经过ZigZag扫描后的数据从概率的角度进行再编码,但是由于CABAC编码过程中涉及到诸多的概率模型以及其他算法,由于篇幅原因,本篇只做提及,不详细展开,本篇希望从梗概的角度让大家明白CABAC是怎样的一个过程. 一.简介 CABAC编码的目的是从概率的角度再做一次压缩,编码的过程主要分为二值化,上下文建模,二进制算术编码. 二.二值化 在图像处理的世界中,所谓二值化就是将像素点的值根据一定的算法,将像素分别修改

[转]utf8编码原理详解

from : http://blog.csdn.net/baixiaoshi/article/details/40786503 很久很久以前,有一群人,他们决定用8个可以开合的晶体管来组合成不同的状态,以表示世界上的万物.他们认为8个开关状态作为原子单位很好,于是他们把这称为"字节". 再后来,他们又做了一些可以处理这些字节的机器,机器开动了,可以用字节来组合出更多的状态,状态开始变来变去.他们看到这样是好的,于是它们就这机器称为"计算机". 开始计算机只在美国用.

编码原理详解(四)---之字形扫描

上一篇我们讲到,经过量化后得到了诸多零值和整数值,本篇接下来讲讲编码过程中过对这些值如何组织和处理,那就是ZigZag扫描喽. 一.简介 ZigZag扫描也称作之字形扫描,何以得此称谓,是因为其扫描的路径特别像汉字中的之字.ZigZag扫描的工作就是按照一定的路径,将量化后的系数从二维变到了一维的过程,废话不多说,上图. 二.示意 三.说明: (1) 上图中左侧的图展示了ZigZag的扫描顺序,因为经过DCT变换和量化之后,实际上矩阵的右下角基本上都已经变为零值,非零值基本集中在矩阵的左上角,经

kickstart安装系统原理详解

前言 作为中小公司的运维,经常会遇到一些机械式的重复工作,例如:有时公司同时上线几十甚至上百台服务器,而且需要我们在短时间内完成系统安装. 常规的办法有什么? 光盘安装系统===>一个服务器DVD内置光驱百千块,百台服务器都配光驱就浪费了,因为一台服务器也就开始装系统能用的上,以后用的机会屈指可数.用USB外置光驱,插来插去也醉了. U盘安装系统===>还是同样的问题,要一台一台服务器插U盘. 网络安装系统(ftp,http,nfs) ===>这个方法不错,只要服务器能联网就可以装系统了