从稀疏表示到低秩表示(一)

从稀疏表示到低秩表示(一)

确定研究方向后一直在狂补理论,最近看了一些文章,有了些想法,顺便也总结了representation系列的文章,由于我刚接触,可能会有些不足,愿大家共同指正。

从稀疏表示到低秩表示系列文章包括如下内容:

一、 sparse representation

二、NCSR(NonlocallyCentralized Sparse Representation)

三、GHP(GradientHistogram Preservation)

四、Group sparsity

五、Rankdecomposition

一、 sparse representation

1  sparsity 

一个线性表示解决的问题如下图所示:

但是,数据量增大后,这个线性表达的基求解十分复杂,而且很多是冗余的,稀疏表示能解决这个问题:

稀疏直观理解就是在满足误差小和非零项尽可能多,非零项就是解决l0-norm问题,但是这个约束太强,弱化条件就是l1-norm,这是个Convex Optimization,于是有一系列的lp-norm。

关于lp-norm的求解方法如上图所示,所有的paper用到的方法都在之内。稀疏表达的应用就非常广泛了,包括去噪,去雾,分割,分类,人脸识别等。

2 why sparse?

关于稀疏的可行原理要追溯到神经科学的突破上,emergence of simple-cell receptive field propertiesby learning a sparse code for nature images.于1996年Cornell大学心理学院的Bruno在Nature上发表的文章。

结论:哺乳动物的初级视觉的简单细胞的感受野具有空域局部性、方向性和带通性(在不同尺度下,对不同结构具有选择性),和小波变换的基函数具有一定的相似性。

而后的概率贝叶斯probabilistic Bayes perspective目标函数相似:

接着是上世纪末的comprehensive sensing解决信号的稀疏等,现在大量用于机器视觉图像理解和分类上。

无论是去噪还是图像恢复都是解决如下的问题:

Imagereconstruction: the problem:

详细的优化过程如下:

Image reconstruction by sparse coding---the basic procedures

3 How sparsityhelps?

An interesting example:

Suppose you are looking for agirlfriend/boyfriend.

– i.e., you are “reconstructing” the desired signal.

• Your objective is that she/he is “白-富-美”/ “高-富-帅”.

– i.e., you want a “clean” and “perfect”reconstruction.

• However, the candidates are limited.

– i.e., the dictionary is small.

• Can you findyour ideal girlfriend/boyfriend?

假设你设定某些单一的标准,如handsome、 rich, tall,那么这些相当于basis,针对具体的样本人选,根据其特征映射这些basis,然后权衡,choose the best candidate.

•Candidate Ais tall; however, he is not handsome.

•Candidate Bis rich; however, he is too fat.

•Candidate Cis handsome; however, he is poor.

• If you sparsely select one of them, none is ideal foryou

– i.e.,  a sparse representation  vector such as [0, 1, 0].

• How about a dense solution: (A+B+C)/3?

– i.e., a dense representation vector [1,1, 1]/3

– The “reconstructed” boyfriend is acompromiseof “高-富-帅”, and he is fat (i.e., has some noise) at the same time.

So what’s wrong?

– This is because thedictionaryis toosmall!

• If you can select yourboyfriend/girlfriend from boys/girls all over the world (i.e.,a largeenough dictionary), there is a very high probability (nearly 1) that you will find him/her!– i.e.,a very sparse solution such as [0, …, 1, …, 0]

• In summary, a sparse solution with an over-complete dictionary often works!

•Sparsityand redundancyare the two sides of the same coin.

4 what is the dictionary?

纵观所有的重构问题,或多或少多设计dictionarylearning 问题,具体的方法的总结和应用可以参考(图像分类的字典学习方法概述),全面的介绍各种dictionary learning 貌离神合的相似。

5 Does sparse enough?

It just sparsethe representation and reduce the redundancy, so how about the similarity andstructure between the atoms? What if there is corruption such as light etc.noise, it can’t be robust to various noises.

Such as Nonlocalself-similarity

6 Beyond sparse

Limitations of sparse representation

1)   sparse representation often learns a dictionary on the basis ofwell-construct and compact dictionary, once the input data has changed, it willcost additional time to construct a new dictionary;

2)   If the training data is contaminated (i.e.occlusion,disguise, lighting variations, pixel corruptionetc.) , sparse is notrobust and will be deteriorate;

3)   When the data to be analyzed from the same class and sharingcommon (correlated) features (i.e. texture),sparse coding would be still performed for each input signal independently, it lacksstructureand correlations within and between classes.

So how to find efficientrepresentation ?

1)   Structure:

Data enough: relations within class, regularized nearest space

Data small: across class representations, collaborativerepresentation

2) Robust: low-rank decomposition & sparsenoise

最后,推荐一篇低秩原理和应用的综述:http://media.au.tsinghua.edu.cn/2013_ATCA_Review.pdf

未完,待续,更多请关注:http://blog.csdn.net/tiandijun,欢迎交流!

时间: 2024-10-28 20:05:49

从稀疏表示到低秩表示(一)的相关文章

从稀疏表示到低秩表示(三)

从稀疏表示到低秩表示(三) 确定研究方向后一直在狂补理论,最近看了一些文章,有了些想法,顺便也总结了representation系列的文章,由于我刚接触,可能会有些不足,愿大家共同指正. 从稀疏表示到低秩表示系列文章包括如下内容: 一. sparse representation 二.NCSR(NonlocallyCentralized Sparse Representation) 三.GHP(GradientHistogram Preservation) 四.Group sparsity 五.

从稀疏表示到低秩表示(五)

从稀疏表示到低秩表示(五) 确定研究方向后一直在狂补理论,最近看了一些文章,有了些想法,顺便也总结了representation系列的文章,由于我刚接触,可能会有些不足,愿大家共同指正. 从稀疏表示到低秩表示系列文章包括如下内容: 一. sparse representation 二.NCSR(NonlocallyCentralized Sparse Representation) 三.GHP(GradientHistogram Preservation) 四.Group sparsity 五.

从稀疏表示到低秩表示(二)

从稀疏表示到低秩表示(二) 确定研究方向后一直在狂补理论,最近看了一些文章,有了些想法,顺便也总结了representation系列的文章,由于我刚接触,可能会有些不足,愿大家共同指正. 从稀疏表示到低秩表示系列文章包括如下内容: 一. sparse representation 二.NCSR(NonlocallyCentralized Sparse Representation) 三.GHP(GradientHistogram Preservation) 四.Group sparsity 五.

从稀疏表示到低秩表示(四)

从稀疏表示到低秩表示(四) 确定研究方向后一直在狂补理论,最近看了一些文章,有了些想法,顺便也总结了representation系列的文章,由于我刚接触,可能会有些不足,愿大家共同指正. 从稀疏表示到低秩表示系列文章包括如下内容: 一. sparse representation 二.NCSR(NonlocallyCentralized Sparse Representation) 三.GHP(GradientHistogram Preservation) 四.Group sparsity 五.

RPCA(鲁棒PCA),低秩稀疏分解

MATLAB code,子函数 function [A_hat E_hat ] =rpca(res) %res,输入图像,输出为低秩A_hat和稀疏E_hat  [row col] = size(res); lambda = 1/ sqrt(max(size(res))); tol = 1e-7; maxIter = 1000; % initialize Y = res; [u,s,v]=svd(Y); norm_two=s(1); norm_inf=max(abs(Y(:)))/lambda;

数据降维--低秩恢复

数据降维--低秩恢复 在实际的信号或图像采集与处理中,数据的维度越高, 给数据的采集和处理带来越大的限制.例如,在采集三维或四维(三个空间维度再加上一个频谱维度或一个时间维度) 信号时,往往比较困难.然而,随着数据维数的升高,这些高维数据之间往往存在较多的相关性和冗余度.信号的维度越高,由于数据本身信息量的增长比数据维度增长慢得多,也就使得数据变得越冗余.一个明显的例子就是,视频信号要比单幅图像的可压缩的空间大得多. 例如,对于一幅图像而言,其像素间的相关性表现在图像在某个变换域的系数是稀疏分布

低秩矩阵填充|奇异值阈值算法

斜风细雨作小寒,淡烟疏柳媚晴滩.入淮清洛渐漫漫. 雪沫乳花浮午盏,蓼茸蒿笋试春盘.人间有味是清欢. ---- 苏轼 更多精彩内容请关注微信公众号 "优化与算法" 低秩矩阵恢复是稀疏向量恢复的拓展,二者具有很多可以类比的性质.首先,稀疏是相对于向量而言,稀疏性体现在待恢复向量中非零元素的数量远小于向量长度:而低秩是相对于矩阵而言,低秩体现在矩阵的秩远小于矩阵的实际尺寸.其次,稀疏向量恢复问题可以转化为基于 \(\ell _1\) 范数的凸优化问题,因为 \(\ell _1\) 范数是 \

奇异值分解(SVD)的之低秩近似和特征降维

我们在这一篇<模式识别.推荐系统中常用的两种矩阵分解-----奇异值分解和非负矩阵分解 >中详细介绍了矩阵奇异值分解的数学证明,我们沿用这一篇的博文的符号,继续讨论这一章的内容. 矩阵的奇异值分解定理: 设矩阵,秩为,,则该矩阵可以分解为: 也可以表示为: . 其中:为矩阵(或者)的非零向量,为的对应特征向量,为的对应特征向量,. SVD的第一个作用之低秩近似(Low Rank Approximation): ,, 即用矩阵近似. SVD的第二个作用之特征降维(Dimensionality R

机器学习规范的规则(两)核电规范与规则的偏好

机器学习规范的规则(两)核电规范与规则的偏好 [email protected] http://blog.csdn.net/zouxy09 上一篇博文,我们聊到了L0.L1和L2范数.这篇我们絮叨絮叨下核范数和规则项參数选择. 知识有限,下面都是我一些浅显的看法,假设理解存在错误,希望大家不吝指正.谢谢. 三.核范数 核范数||W||*是指矩阵神秘值的和,英文称呼叫Nuclear Norm.这个相对于上面火热的L1和L2来说,可能大家就会陌生点.那它是干嘛用的呢?霸气登场:约束Low-Rank(