浅谈压缩感知(三):几何解释

主要内容:

  1. 信号的稀疏表示模型
  2. 压缩测量
  3. RIP性质
  4. 恢复重建
    1. 一、信号的稀疏表示模型

      信号在某个空间是非稀疏的,如果变换到某个空间,即可变成稀疏的。

      稀疏信号表示有极少的非零系数。

      如下图,左边表示X信号在R3空间中只有一个非0系数,右边表示X信号在R3空间只有两个非0系数。

      如果信号是稀疏的,那么就没必要采集那些在空间系数为0的值。相反,只采集少量的非零系数,而允许一点不确定性。

      然后通过稀疏模型来重建信号,并解决不确定性的问题。

    2. 二、压缩测量

      压缩测量:即将稀疏信号(K-Sparse)从N维空间通过线性投影到M维空间当中。M<<N

      过程:Y=Φ*X

      Y即线性投影后的测量值;

      Φ即测量矩阵;

      X 即信号;

      测量矩阵需满足的性质:

      必要性:必须有2*K行

      有效性:2*K行的高斯随机矩阵

      测量过程:从信号x到测量值y的线性投影过程

      N维空间到M维空间映射的几何模型:

      举个简单的小例子,来说明测量矩阵的选择问题:

      此处的测量矩阵应该如何选择呢?考虑以下几种情况:

      上述的矩阵过于简单,但主要说明的问题就是:测量矩阵所在的空间基向量与信号的稀疏基向量必须满足一定的不相关性。

      下面介绍测量矩阵理论上需要满足的性质:

    3. 三、RIP性质

      Restricted Isometry Property(aka UUP)

      对于K-sparse 信号x,如果测量矩阵满足以下关系,则称测量矩阵满足K阶RIP性质。

      对于K-sparse x1和x2信号而言,测量矩阵满足2K阶RIP性质则意味着:

      关于上面这些公式,我也不明白其中的含义。

      在实际中呢,我们也不可能通过上面的公式去验证测量矩阵的有效性,上面的公式只是提供了一个理论支撑而已。

      实践证明,下面的一些随机矩阵在满足的情况下,可以以很大的概率来满足测量的需求:

    4. 四、恢复重建信号的几何模型

      L0模型:

      信号的稀疏性对应的就是非零系数的最小化,因此通过L0来建模是可行的,

      但L0建立的数学模型是不可微的,不能用梯度法,因此一般采用贪心的方法来求解。

      L2模型:

      L2范式建立的数学模型求解出来的恢复信号并不是稀疏的,而是很多小分量。因此,在压缩感知中,不太适合用来建模。

      L1模型:

      数学家们已经证明,在某种程度上,L1模型等价于L0模型。

      L1模型与L0模型的等价性证明:

时间: 2024-08-27 05:15:27

浅谈压缩感知(三):几何解释的相关文章

浅谈压缩感知(二十四):压缩感知重构算法之子空间追踪(SP)

主要内容: SP的算法流程 SP的MATLAB实现 一维信号的实验与结果 测量数M与重构成功概率关系的实验与结果 SP与CoSaMP的性能比较 一.SP的算法流程 压缩采样匹配追踪(CoSaMP)与子空间追踪(SP)几乎完全一样,因此算法流程也基本一致. SP与CoSaMP主要区别在于"Ineach iteration, in the SP algorithm, only K new candidates are added, while theCoSAMP algorithm adds 2K

浅谈压缩感知(三十):压缩感知重构算法之L1最小二乘

主要内容: l1_ls的算法流程 l1_ls的MATLAB实现 一维信号的实验与结果 前言 前面所介绍的算法都是在匹配追踪算法MP基础上延伸的贪心算法,从本节开始,介绍基于凸优化的压缩感知重构算法. 约束的凸优化问题: 去约束的凸优化问题: 在压缩感知中,J函数和H函数的选择: 那么,后面要解决的问题就是如何通过最优化方法来求出x. 一.l1_ls的算法 l1_ls,全称?1-regularized least squares,基于L1正则的最小二乘算法,在标准内点法的基础上,在truncate

浅谈压缩感知(三十一):压缩感知重构算法之定点连续法FPC

主要内容: FPC的算法流程 FPC的MATLAB实现 一维信号的实验与结果 基于凸优化的重构算法 基于凸优化的压缩感知重构算法. 约束的凸优化问题: 去约束的凸优化问题: 在压缩感知中,J函数和H函数的选择: 一.FPC的算法 FPC,全称Fixed-Point Continuation,这里翻译为定点连续. 数学模型: 算法: 该算法在迭代过程中利用了收缩公式shrinkage(也称为软阈值soft thresholding),算法简单.优美. 迭代过程: (梯度) 合并一下,就得到了整个迭

浅谈压缩感知(二十八):压缩感知重构算法之广义正交匹配追踪(gOMP)

主要内容: gOMP的算法流程 gOMP的MATLAB实现 一维信号的实验与结果 稀疏度K与重构成功概率关系的实验与结果 一.gOMP的算法流程 广义正交匹配追踪(Generalized OMP, gOMP)算法可以看作为OMP算法的一种推广.OMP每次只选择与残差相关最大的一个,而gOMP则是简单地选择最大的S个.之所以这里表述为"简单地选择"是相比于ROMP之类算法的,不进行任何其它处理,只是选择最大的S个而已. gOMP的算法流程: 二.gOMP的MATLAB实现(CS_gOMP

浅谈压缩感知(九):范数与稀疏性

问题: 压缩感知问题求稀疏解时,一般采用0范数或者1范数来建立数学模型.那么为什么0范数或1范数可以得到稀疏解呢? 解释与分析: 1.范数 常见的有L0范数.L1范数.L2范数,经常要将L0范数等价为L1范数去求解,因为L1范数求解是一个凸优化问题,而L0范数求解是一个NP难问题. L0范数指的是x中非零元素的个数,即x的稀疏度,如果x是K稀疏的,则l0范数等于K: L1范数指的是x中所有元素模值的和: L2范数指的是x中所有元素模值平方的和 再平方,这个带公式就可以了,它代表着距离的概念: 还

浅谈压缩感知(二十六):压缩感知重构算法之分段弱正交匹配追踪(SWOMP)

主要内容: SWOMP的算法流程 SWOMP的MATLAB实现 一维信号的实验与结果 门限参数a.测量数M与重构成功概率关系的实验与结果 SWOMP与StOMP性能比较 一.SWOMP的算法流程 分段弱正交匹配追踪(Stagewise Weak OMP)可以说是StOMP的一种修改算法,它们的唯一不同是选择原子时的门限设置,这可以降低对测量矩阵的要求.我们称这里的原子选择方式为"弱选择"(Weak Selection),StOMP的门限设置由残差决定,这对测量矩阵(原子选择)提出了要求

浅谈压缩感知(十六):感知矩阵之RIP

在压缩感知中,总是看到"矩阵满足RIP"之类的字眼,没错,这是一个压缩感知绕不开的术语,有限等距性质(Restricted Isometry Property, RIP). 注意:RIP性质针对的同样是感知矩阵而非测量矩阵. 0.相关概念与符号 1.RIP定义 中文版: 英文版: 概括: (RIP)矩阵满足2K阶RIP保证了能够把任意一个K稀疏信号θK映射为唯一的y,也就是说要想通过压缩观测y恢复K稀疏信号θK,必须保证传感矩阵满足2K阶RIP,满足2K阶RIP的矩阵任意2K列线性无关

浅谈压缩感知(二):理论基础

主要内容: 信号的稀疏表示 编码测量(采样过程) 恢复算法(非线性) 一.信号与图像的稀疏表示 在DSP(数字信号处理)中,有个很重要的概念:变换域(某个线性空间:一组基函数支撑起来的空间) 一般而言,我们的信号都是在时域或空域中来表示,其实我们可以在其他变换域中通过某些正交基函数的线性组合来表示信号.如:sinusoids, wavelets, curvelets, Gabor functions,. . . 对于某个变换域或空间,其基函数是确定的,只要得到系数α的这一组值,即可通过该系数向量

浅谈压缩感知(一):简介与背景

1.动机与背景 数字化革命: 随着数字化技术的快速发展,电话.手机.相机.电视等数字化产品如雨后春笋般涌现市场,无时无刻不在影响着我们的生活,这是一个数字化的时代. 数码传感器的挑战: 在这样一个数字化时代,所有的数字信号采集都必须有相应的数字化的软硬件支撑.随着人们对于图像.视频等多媒体内容的需求和要求越来越高,对应的硬件设备如照相机.摄像机等信号采集的设备的压力也越来越大.比如,相片的分辨率越来越高,这就需要在照相机中内置越来越多的传感器,以采集质量更高的图像信号.此外还有其他一些目前传统信