压缩感知入门（一）

　　1.压缩感知引言

压缩感知（compressed sensing），又名压缩采样，利用原始场景自身的或变换到某个域后的稀疏性，采用更少的测量次数，获取足够的能重建原始场景的信息。

　比如场景生成的图片有200万个像素，每个像素用8位比特表示，需要2MB的存储空间，但去除冗余后的有效像素只有10万个。那么我们找出这10万个有效像素，就能够较好的重建出原始图像，实现较好的图像压缩和重建。接下来有两个问题：1）如何找出这关键的10万个像素，也即组成整幅图像的“基”？2）除了这10万个像素，其余的190万个像素对图像的细节也有帮助，只保留这10万个像素也许会造成图像失真，如何解决？先来考虑第一个问题吧。

　　考虑二维情况，假设x₀为自然场景，y₀是成像结果，把它们repmat到1维列向量，变为N*1的x和M*1的y，其中M<<N。那么x和y的关系可以描述为 y = Φx ，其中Φ 是M*N的测量矩阵。现在的研究热点有两个：1.如何通过N*1的y恢复出M*1的x，这是一个欠定问题。2.设计n尽量小的Φ。

2.稀疏信号的恢复

　　在恢复数据时我们通常有两种办法，第一种是匹配追踪（matching pursuit）：找出图像的一个基向量（小波），去除小波在图像中的分量，继续找新的与以前线性无关的向量，并移除相关的图像向量，不断重复直到这组基向量能解释所有的数据。第二种是基追踪（basis pursuit），在所有与数据（image）匹配的小波组合中，找出一个“最稀疏”的基，也就是其中所有系数的绝对值总和越小越好。（这种最小化的结果趋向于迫使绝大多数系数都消失了。），从而获取最稀疏的表达，增大压缩率。这种最小化算法可以用单纯形之类的凸优化算法，在合理的时间内算出来。第一种办法运算块，第二种办法在有噪声时效果更好。

　　先来了解范数，第0范数表示向量非零元素个数，第p范数的定义为

如果用第0范数解压缩问题，即

用Δ₀(y)表示P_{0的解，即在所有满足线性方程组的向量x中，选择非0元素最少的。}

有如下定理：

因为P₀是一个NP完全问题，求解十分不平凡，所以考虑更高的范数，将解码定义为如下问题的解：

y = Φx 等价于 y = Φx 和 Φx = 0的叠加，

可以用零空间性质给出P₁和P₀的解一致的充要条件，但是难以从理论上证明某矩阵Φ是否满足零空间性质。所以考虑矩阵RIP性质。

3.RIP定义

RIP的理解思路：

1）能量说。RIP采用第二范数的平方（能量），描述了稳定的能量性质。不等式同时除以||x||₂²，得到能量的商介于一个范围，也就是保持原场景K个重要分量的长度/能量，如果场景是K稀疏的话。

2）与正交矩阵的相似性。如果Φ是个正交矩阵，那么不等式一定成立，但由于为了减小测量量，Φ是行少于列的矩阵，所以δ是用来描述Φ和正交矩阵的相似性的，δ越小，越相似。

3）唯一映射性。RIP性质（有限等距性质）保证了感知矩阵不会把两个不同的K稀疏信号映射到同一个集合中（保证原空间到稀疏空间的一一映射关系），要求从感知矩阵中抽取的每2K个列向量构成的矩阵是非奇异的。

4.RIP补充

因为RIP可以刻画成“一个矩阵和标准正交阵的相似程度”,所以测量矩阵所需要满足的性质就是尽量保证其基向量和稀疏表示的基不相关。实际中，比如高斯随机矩阵，二值随机矩阵，局部傅立叶矩阵，局部哈达妈矩阵等都能以很大的概率满足RIP。

5.引用文献

http://blog.csdn.net/abcjennifer/article/details/7721834

Compressed sensing and single-pixel cameras - Terrytao

压缩感知，许志强，2012年1月12日