浅谈压缩感知(十六):感知矩阵之RIP

在压缩感知中,总是看到"矩阵满足RIP"之类的字眼,没错,这是一个压缩感知绕不开的术语,有限等距性质(Restricted Isometry Property, RIP)。

注意:RIP性质针对的同样是感知矩阵而非测量矩阵。

0、相关概念与符号

1、RIP定义

中文版:

英文版:

概括:

(RIP)矩阵满足2K阶RIP保证了能够把任意一个K稀疏信号θK映射为唯一的y,也就是说要想通过压缩观测y恢复K稀疏信号θK,必须保证传感矩阵满足2K阶RIP,满足2K阶RIP的矩阵任意2K列线性无关。

边界解释:

上述定义中不等式边界关于1对称,其实这只是表示的方便而已,实际中可以考虑任意边界值。

2、RIP理解

理解1:能量说

向量的2范数的平方就是信号的能量,换成常见的公式:

RIP不等式:

这里的实际上是 ,即输出信号的能量, 即输入信号的能量(稀疏变换x=Ψθ为正交变换,而正交变换保持能量不变,即信号理论中的Parseval定理)。

解释1:

解释2:

RIP其实可以看成刻画一个矩阵和标准正交阵的相似程度。其对于向量做变换后的 L2 能量(范数平方)相较于原向量的能量的变化不超过RIP。RIP对于Stability 的分析非常有效。RIP 是由Candes 和Tao 提出来的,可以看他们的提出这个概念的文章: Decoding by LinearProgramming。

其实取极限当δ=0时(RIP要求0<δ<1),RIP的不等式实际上表示的是观测所得向量y的能量等于信号x的能量,在线性代数中所讲的正交变换也具有这种性质,也称为等距变换(把信号将为二维或三维时2范数的平方可形象的理解为到原点的距离),当然这里的变换因为传感矩阵A不可能是正交矩阵(不是方阵),但当极限δ=0时也能保持能量相等(也可以称为等距吧),而RIP要求0<δ<1,所以不可能等距,所以就称为有限等距性质吧。

理解2:唯一映射说

在前一篇介绍spark常数的时候,已经提到了唯一映射说这一点,可以了解一下:http://www.cnblogs.com/AndyJee/p/5083726.html

RIP性质(有限等距性质)保证了感知矩阵不会把两个不同的K稀疏信号映射到同一个集合中(保证原空间到稀疏空间的一一映射关系),要求从感知矩阵中抽取的每2K个列向量构成的矩阵是非奇异的。

当δ2s<1时可以保证零范数问题有唯一的稀疏解,而当δ2s<sqrt(2)-1时则可以保证零范数和1范数等价(零范数求解为NP-hard问题,在此前提下将其转化为1范数求最优化问题,这时是个凸优化问题)

3、RIP补充

上面我们谈到的都是感知矩阵,而实际中我们常常使用的是测量矩阵,那么怎么样才能让测量矩阵满足RIP要求呢?

前面解释中的能量说提到"RIP其实可以看成刻画一个矩阵和标准正交阵的相似程度",如

关于矩阵中任意2K列都不相关的解释:

如果矩阵有2K列线性相关,则对于某一个2K稀疏的信号必然会有2K=0,又因为一个2K稀疏的信号可以写成两个K稀疏的信号相减(把2K稀疏信号的2K个非零项分成两部分,每部分分别包含K个非零项,其余部分填零长度与原2K稀疏信号保持不变,即得到了两个K稀疏信号,其中的一个K稀疏信号中的K个非零项乘负一,另一部分减这一部分必然等于2K稀疏信号),因此有A(θK1-θK2)=0,即K1=K2,也就是说对于两个不同的K稀疏信号θK1和θK2,压缩观测后得到了同一个y,即不能保证唯一映射,所以矩阵不能有2K列线性相关,否则将不能保证唯一映射

4、参考文章

http://blog.csdn.net/jbb0523/article/details/44565647

时间: 2024-10-24 23:44:35

浅谈压缩感知(十六):感知矩阵之RIP的相关文章

浅谈压缩感知(二十四):压缩感知重构算法之子空间追踪(SP)

主要内容: SP的算法流程 SP的MATLAB实现 一维信号的实验与结果 测量数M与重构成功概率关系的实验与结果 SP与CoSaMP的性能比较 一.SP的算法流程 压缩采样匹配追踪(CoSaMP)与子空间追踪(SP)几乎完全一样,因此算法流程也基本一致. SP与CoSaMP主要区别在于"Ineach iteration, in the SP algorithm, only K new candidates are added, while theCoSAMP algorithm adds 2K

Core Data浅谈系列之十 : 关于数据模型中实体的属性

之前写了<Core Data浅谈系列汇总>,今天稍微回顾了下,做些补充. 在这个系列的第一篇<基础结构>中(2013年1月份的文章,时间过得好快啊!),有简单带过Entity的Attribute: 数据类型.布尔值统一用NSNumber来表示: 字符串类型用NSString表示: 时间类型用NSDate表示: 二进制数据类型用NSData表示: 非标准类型用Transformable来表示: 而Attribute还有其自身的Properties,比如Transient表示不用持久化

浅谈算法和数据结构: 六 符号表及其基本实现

http://www.cnblogs.com/yangecnu/p/Introduce-Symbol-Table-and-Elementary-Implementations.html 浅谈算法和数据结构: 六 符号表及其基本实现 前面几篇文章介绍了基本的排序算法,排序通常是查找的前奏操作.从本文开始介绍基本的查找算法. 在介绍查找算法,首先需要了解符号表这一抽象数据结构,本文首先介绍了什么是符号表,以及这一抽象数据结构的的API,然后介绍了两种简单的符号表的实现方式. 一符号表 在开始介绍查找

浅谈压缩感知(二十六):压缩感知重构算法之分段弱正交匹配追踪(SWOMP)

主要内容: SWOMP的算法流程 SWOMP的MATLAB实现 一维信号的实验与结果 门限参数a.测量数M与重构成功概率关系的实验与结果 SWOMP与StOMP性能比较 一.SWOMP的算法流程 分段弱正交匹配追踪(Stagewise Weak OMP)可以说是StOMP的一种修改算法,它们的唯一不同是选择原子时的门限设置,这可以降低对测量矩阵的要求.我们称这里的原子选择方式为"弱选择"(Weak Selection),StOMP的门限设置由残差决定,这对测量矩阵(原子选择)提出了要求

浅谈压缩感知(十五):测量矩阵之spark常数

在压缩感知中,有一些用来评价测量矩阵的指标,如常见的RIP等,除了RIP之外,spark常数也能够用来衡量能否成为合适的测量矩阵. 1.零空间条件NULL Space Condition 在介绍spark之前,先考虑一下测量矩阵的零空间. 这里从矩阵的零空间来考虑测量矩阵需满足的条件:对于K稀疏的信号x,当且仅当测量矩阵的零空间与2K个基向量张成的线性空间没有交集,或者说零空间中的向量不在2K个基向量张成的线性空间中. 上述描述的性质似乎有点难懂,那么与之等价的表述就是spark常数. 2.sp

浅谈压缩感知(十四):傅里叶矩阵与小波变换矩阵的MATLAB实现

主要内容: 傅里叶矩阵及其MATLAB实现 小波变换矩阵及其MATLAB实现  傅里叶矩阵及其MATLAB实现 傅里叶矩阵的定义:(来源: http://mathworld.wolfram.com/FourierMatrix.html) 傅里叶矩阵的MATLAB实现: dftmtx(N) is the N-by-N complex matrix of values around the unit-circle whose inner product with a column vector of

浅谈压缩感知(二十八):压缩感知重构算法之广义正交匹配追踪(gOMP)

主要内容: gOMP的算法流程 gOMP的MATLAB实现 一维信号的实验与结果 稀疏度K与重构成功概率关系的实验与结果 一.gOMP的算法流程 广义正交匹配追踪(Generalized OMP, gOMP)算法可以看作为OMP算法的一种推广.OMP每次只选择与残差相关最大的一个,而gOMP则是简单地选择最大的S个.之所以这里表述为"简单地选择"是相比于ROMP之类算法的,不进行任何其它处理,只是选择最大的S个而已. gOMP的算法流程: 二.gOMP的MATLAB实现(CS_gOMP

浅谈压缩感知(三十):压缩感知重构算法之L1最小二乘

主要内容: l1_ls的算法流程 l1_ls的MATLAB实现 一维信号的实验与结果 前言 前面所介绍的算法都是在匹配追踪算法MP基础上延伸的贪心算法,从本节开始,介绍基于凸优化的压缩感知重构算法. 约束的凸优化问题: 去约束的凸优化问题: 在压缩感知中,J函数和H函数的选择: 那么,后面要解决的问题就是如何通过最优化方法来求出x. 一.l1_ls的算法 l1_ls,全称?1-regularized least squares,基于L1正则的最小二乘算法,在标准内点法的基础上,在truncate

浅谈压缩感知(十九):MP、OMP与施密特正交化

关于MP.OMP的相关算法与收敛证明,可以参考:http://www.cnblogs.com/AndyJee/p/5047174.html,这里仅简单陈述算法流程及二者的不同之处. 主要内容: MP的算法流程及其MATLAB实现 OMP的算法流程以及MATLAB实现 MP与OMP的区别 施密特正交化与OMP的关系 一.MP(匹配追踪)的算法流程: 二.MP的MATLAB实现: % MP:匹配追踪算法 % dictionary: 超完备字典 % x: 待表示信号 % M = 4; N = 10;