浅谈压缩感知(二):理论基础

主要内容:

  1. 信号的稀疏表示
  2. 编码测量(采样过程)
  3. 恢复算法(非线性)

一、信号与图像的稀疏表示

在DSP(数字信号处理)中,有个很重要的概念:变换域(某个线性空间:一组基函数支撑起来的空间)

一般而言,我们的信号都是在时域或空域中来表示,其实我们可以在其他变换域中通过某些正交基函数的线性组合来表示信号。如:sinusoids, wavelets, curvelets, Gabor functions,. . .

对于某个变换域或空间,其基函数是确定的,只要得到系数α的这一组值,即可通过该系数向量来表示信号。

那么系数α该怎么求呢?

说了这么多,为什么要通过变换域的系数来表示信号呢?

很明显,系数向量α的大小远小于原始信号,这一个压缩和降维的过程(稀疏性),有利于存储、传输和处理。

下面以图片为例,介绍传统的图像表示方法DCT和现代的图像表示方法小波变换:

Classical Image Representation: DCT

Discrete Cosine Transform (DCT)

Basically a real-valued Fourier transform (sinusoids)

如上图所示,左边为原始图像,右边为DCT变换后的图像。

该图像表示二维的频率幅值系数,可以看出,右下角的大部分系数接近于0。也就是说图像的大部分能量都集中在左上角的低频部分(稀疏性),

因此我们只要保留左上角的信息(压缩),就可以很好地重建出左边的图像。(有损)

这也就是JEPG图像压缩标准的基础:DCT变换。

DCT重建(反变换)的图像特点:平滑区域表现很好,边缘可能会模糊或出现振铃(因为某些高频信号丢失)

Modern Image Representation: 2D Wavelets

有关小波变换的知识,这里就不详述,可以参考:http://www.zhihu.com/topic/19621077/top-answers

如上图所示,左边为原始图像,中间为尺度图像,右边为小波变换后的系数结构

系数框架:大系数很少,小系数很多(稀疏性)

这也是JPEG2000压缩标准的基础:小波变换。

小波变换重建(反变换)的图像特点:平滑区域表现很好,边缘更加尖锐(在边缘处理上,比DCT好)

小波变换的图像重建:

小波系数的分布:

小波变换的重建:

这一部分主要介绍了变换域,以及信号在变换域的稀疏表示,并以图像的DCT和小波变换为例,来阐述信号在变换域的稀疏性。

稀疏性的作用总结:

  1. 压缩
  2. 去噪
  3. 降维

二、编码测量

跟传统采集不同,压缩感知采集的不是像素点,而是一组线性组合的测量值。

下面的公式表示每一个测量值yi的计算过程,f表示信号,Φ表示测量矩阵,两者的内积之和即为yi。

经过M次测量之后,即得到所需要的M个测量数据Y。

问题是测量矩阵应该怎么选择呢?

为了能够重构信号,测量矩阵的选择尤其重要,矩阵需要满足与信号的稀疏表示基Ψ不相关。(RIP性质,具体不详述)

实验证明:高斯随机矩阵、一致球矩阵、二值随机矩阵、局部傅立叶矩阵、局部哈达玛矩阵以及托普利兹矩阵等能在很大概率上满足上述条件。

测量公式如下:

三、稀疏重建算法

假设信号是K-sparse,测量矩阵是高斯随机矩阵,现在通过采集获得了M个测量值,我们如何恢复出我们的信号呢?

测量过程:

重建过程:(数学建模:L1 Minimization,当然还有其他方法,后续再叙述)

需要多少个测量值才能够有效地恢复出信号呢?一个、两个很明显是不行的,N个显然就没有了压缩的意义,那么至少多少才合适呢?

下面的公式给出了一个估计值:

变换域重建:

举例:

时间: 2024-10-24 23:44:34

浅谈压缩感知(二):理论基础的相关文章

浅谈压缩感知(二十四):压缩感知重构算法之子空间追踪(SP)

主要内容: SP的算法流程 SP的MATLAB实现 一维信号的实验与结果 测量数M与重构成功概率关系的实验与结果 SP与CoSaMP的性能比较 一.SP的算法流程 压缩采样匹配追踪(CoSaMP)与子空间追踪(SP)几乎完全一样,因此算法流程也基本一致. SP与CoSaMP主要区别在于"Ineach iteration, in the SP algorithm, only K new candidates are added, while theCoSAMP algorithm adds 2K

浅谈压缩感知(二十八):压缩感知重构算法之广义正交匹配追踪(gOMP)

主要内容: gOMP的算法流程 gOMP的MATLAB实现 一维信号的实验与结果 稀疏度K与重构成功概率关系的实验与结果 一.gOMP的算法流程 广义正交匹配追踪(Generalized OMP, gOMP)算法可以看作为OMP算法的一种推广.OMP每次只选择与残差相关最大的一个,而gOMP则是简单地选择最大的S个.之所以这里表述为"简单地选择"是相比于ROMP之类算法的,不进行任何其它处理,只是选择最大的S个而已. gOMP的算法流程: 二.gOMP的MATLAB实现(CS_gOMP

浅谈压缩感知(二十六):压缩感知重构算法之分段弱正交匹配追踪(SWOMP)

主要内容: SWOMP的算法流程 SWOMP的MATLAB实现 一维信号的实验与结果 门限参数a.测量数M与重构成功概率关系的实验与结果 SWOMP与StOMP性能比较 一.SWOMP的算法流程 分段弱正交匹配追踪(Stagewise Weak OMP)可以说是StOMP的一种修改算法,它们的唯一不同是选择原子时的门限设置,这可以降低对测量矩阵的要求.我们称这里的原子选择方式为"弱选择"(Weak Selection),StOMP的门限设置由残差决定,这对测量矩阵(原子选择)提出了要求

浅谈压缩感知(十六):感知矩阵之RIP

在压缩感知中,总是看到"矩阵满足RIP"之类的字眼,没错,这是一个压缩感知绕不开的术语,有限等距性质(Restricted Isometry Property, RIP). 注意:RIP性质针对的同样是感知矩阵而非测量矩阵. 0.相关概念与符号 1.RIP定义 中文版: 英文版: 概括: (RIP)矩阵满足2K阶RIP保证了能够把任意一个K稀疏信号θK映射为唯一的y,也就是说要想通过压缩观测y恢复K稀疏信号θK,必须保证传感矩阵满足2K阶RIP,满足2K阶RIP的矩阵任意2K列线性无关

浅谈压缩感知(三十):压缩感知重构算法之L1最小二乘

主要内容: l1_ls的算法流程 l1_ls的MATLAB实现 一维信号的实验与结果 前言 前面所介绍的算法都是在匹配追踪算法MP基础上延伸的贪心算法,从本节开始,介绍基于凸优化的压缩感知重构算法. 约束的凸优化问题: 去约束的凸优化问题: 在压缩感知中,J函数和H函数的选择: 那么,后面要解决的问题就是如何通过最优化方法来求出x. 一.l1_ls的算法 l1_ls,全称?1-regularized least squares,基于L1正则的最小二乘算法,在标准内点法的基础上,在truncate

浅谈压缩感知(九):范数与稀疏性

问题: 压缩感知问题求稀疏解时,一般采用0范数或者1范数来建立数学模型.那么为什么0范数或1范数可以得到稀疏解呢? 解释与分析: 1.范数 常见的有L0范数.L1范数.L2范数,经常要将L0范数等价为L1范数去求解,因为L1范数求解是一个凸优化问题,而L0范数求解是一个NP难问题. L0范数指的是x中非零元素的个数,即x的稀疏度,如果x是K稀疏的,则l0范数等于K: L1范数指的是x中所有元素模值的和: L2范数指的是x中所有元素模值平方的和 再平方,这个带公式就可以了,它代表着距离的概念: 还

浅谈压缩感知(三十一):压缩感知重构算法之定点连续法FPC

主要内容: FPC的算法流程 FPC的MATLAB实现 一维信号的实验与结果 基于凸优化的重构算法 基于凸优化的压缩感知重构算法. 约束的凸优化问题: 去约束的凸优化问题: 在压缩感知中,J函数和H函数的选择: 一.FPC的算法 FPC,全称Fixed-Point Continuation,这里翻译为定点连续. 数学模型: 算法: 该算法在迭代过程中利用了收缩公式shrinkage(也称为软阈值soft thresholding),算法简单.优美. 迭代过程: (梯度) 合并一下,就得到了整个迭

浅谈压缩感知(三):几何解释

主要内容: 信号的稀疏表示模型 压缩测量 RIP性质 恢复重建 一.信号的稀疏表示模型 信号在某个空间是非稀疏的,如果变换到某个空间,即可变成稀疏的. 稀疏信号表示有极少的非零系数. 如下图,左边表示X信号在R3空间中只有一个非0系数,右边表示X信号在R3空间只有两个非0系数. 如果信号是稀疏的,那么就没必要采集那些在空间系数为0的值.相反,只采集少量的非零系数,而允许一点不确定性. 然后通过稀疏模型来重建信号,并解决不确定性的问题. 二.压缩测量 压缩测量:即将稀疏信号(K-Sparse)从N

浅谈压缩感知(十五):测量矩阵之spark常数

在压缩感知中,有一些用来评价测量矩阵的指标,如常见的RIP等,除了RIP之外,spark常数也能够用来衡量能否成为合适的测量矩阵. 1.零空间条件NULL Space Condition 在介绍spark之前,先考虑一下测量矩阵的零空间. 这里从矩阵的零空间来考虑测量矩阵需满足的条件:对于K稀疏的信号x,当且仅当测量矩阵的零空间与2K个基向量张成的线性空间没有交集,或者说零空间中的向量不在2K个基向量张成的线性空间中. 上述描述的性质似乎有点难懂,那么与之等价的表述就是spark常数. 2.sp