从稀疏表示到低秩表示(五)

从稀疏表示到低秩表示(五)

确定研究方向后一直在狂补理论,最近看了一些文章,有了些想法,顺便也总结了representation系列的文章,由于我刚接触,可能会有些不足,愿大家共同指正。

从稀疏表示到低秩表示系列文章包括如下内容:

一、 sparse representation

二、NCSR(NonlocallyCentralized Sparse Representation)

三、GHP(GradientHistogram Preservation)

四、Group sparsity

五、Rankdecomposition

五、Rankdecomposition

此部分是上篇的续篇,介绍低秩分解

Group sparsity 毕竟只是对group的非零项的约束,属于一维的,但是rank描述的是矩阵的相关性属性,其中的每一个atomy因为位置和排列呈现出二维的秩序,所以rank decomposition 是从2D的角度剖析相似度的structure。

求解矩阵的秩问题可以转变为奇异值分解问题(可以参考矩阵论相关知识)为此,提出了Nuclear norm:

Nuclear Norm Minimization (NNM)

NNM: pros and cons


奇异值的个数等于rank的大小,但是值大的奇异值永远是是一小部分,数值大的几个奇异值大约占总奇异值大小的99%,于是对于奇异值的处理又出现权重不同的处理:

Weighted nuclear norm minimization (WNNM)

Optimization of WNNM

【1】Q. Xie, D. Meng, S. Gu, L.Zhang, W. Zuo, X. Feng, and Z. Xu, “On the optimization of

weightednuclear norm minimization,” Technical Report, to be onlinesoon.

An important corollary

【2】Q. Xie, D. Meng, S. Gu, L.Zhang, W. Zuo, X. Feng, and Z. Xu, “On the optimization of

weightednuclear norm minimization,”Technical Report, to be onlinesoon.

Application of WNNM to image denoising

1. For each noisy patch, search inthe image for its nonlocal similar patchesto form matrix Y.

2. Solve the WNNM problem to estimate the clean patchesX from Y.

3. Put the clean patchback to the image.

4. Repeat the above procedures several times toobtain the denoised image.

WNNM based image denoising

【3】S. Gu, L. Zhang, W. Zuo and X.Feng,“WeightedNuclear Norm Minimization with Application to Image Denoising,”CVPR 2014.

About the weights

Results:效果还是很不错的

Thinking: What representation is better for imageinterpretation?

What’s next?

• Actually I don’tknow … Probably “Sparse/Low-rank + Big Data”?

– Theoreticalanalysis? – Algorithms and implementation?

• W.r.t. image restoration,one interesting topic (at least I think) isperceptual quality oriented image restoration.

未完,待续,更多请关注http://blog.csdn.net/tiandijun,欢迎交流!

时间: 2024-08-07 17:01:33

从稀疏表示到低秩表示(五)的相关文章

从稀疏表示到低秩表示(三)

从稀疏表示到低秩表示(三) 确定研究方向后一直在狂补理论,最近看了一些文章,有了些想法,顺便也总结了representation系列的文章,由于我刚接触,可能会有些不足,愿大家共同指正. 从稀疏表示到低秩表示系列文章包括如下内容: 一. sparse representation 二.NCSR(NonlocallyCentralized Sparse Representation) 三.GHP(GradientHistogram Preservation) 四.Group sparsity 五.

从稀疏表示到低秩表示(二)

从稀疏表示到低秩表示(二) 确定研究方向后一直在狂补理论,最近看了一些文章,有了些想法,顺便也总结了representation系列的文章,由于我刚接触,可能会有些不足,愿大家共同指正. 从稀疏表示到低秩表示系列文章包括如下内容: 一. sparse representation 二.NCSR(NonlocallyCentralized Sparse Representation) 三.GHP(GradientHistogram Preservation) 四.Group sparsity 五.

从稀疏表示到低秩表示(四)

从稀疏表示到低秩表示(四) 确定研究方向后一直在狂补理论,最近看了一些文章,有了些想法,顺便也总结了representation系列的文章,由于我刚接触,可能会有些不足,愿大家共同指正. 从稀疏表示到低秩表示系列文章包括如下内容: 一. sparse representation 二.NCSR(NonlocallyCentralized Sparse Representation) 三.GHP(GradientHistogram Preservation) 四.Group sparsity 五.

从稀疏表示到低秩表示(一)

从稀疏表示到低秩表示(一) 确定研究方向后一直在狂补理论,最近看了一些文章,有了些想法,顺便也总结了representation系列的文章,由于我刚接触,可能会有些不足,愿大家共同指正. 从稀疏表示到低秩表示系列文章包括如下内容: 一. sparse representation 二.NCSR(NonlocallyCentralized Sparse Representation) 三.GHP(GradientHistogram Preservation) 四.Group sparsity 五.

RPCA(鲁棒PCA),低秩稀疏分解

MATLAB code,子函数 function [A_hat E_hat ] =rpca(res) %res,输入图像,输出为低秩A_hat和稀疏E_hat  [row col] = size(res); lambda = 1/ sqrt(max(size(res))); tol = 1e-7; maxIter = 1000; % initialize Y = res; [u,s,v]=svd(Y); norm_two=s(1); norm_inf=max(abs(Y(:)))/lambda;

数据降维--低秩恢复

数据降维--低秩恢复 在实际的信号或图像采集与处理中,数据的维度越高, 给数据的采集和处理带来越大的限制.例如,在采集三维或四维(三个空间维度再加上一个频谱维度或一个时间维度) 信号时,往往比较困难.然而,随着数据维数的升高,这些高维数据之间往往存在较多的相关性和冗余度.信号的维度越高,由于数据本身信息量的增长比数据维度增长慢得多,也就使得数据变得越冗余.一个明显的例子就是,视频信号要比单幅图像的可压缩的空间大得多. 例如,对于一幅图像而言,其像素间的相关性表现在图像在某个变换域的系数是稀疏分布

低秩矩阵填充|奇异值阈值算法

斜风细雨作小寒,淡烟疏柳媚晴滩.入淮清洛渐漫漫. 雪沫乳花浮午盏,蓼茸蒿笋试春盘.人间有味是清欢. ---- 苏轼 更多精彩内容请关注微信公众号 "优化与算法" 低秩矩阵恢复是稀疏向量恢复的拓展,二者具有很多可以类比的性质.首先,稀疏是相对于向量而言,稀疏性体现在待恢复向量中非零元素的数量远小于向量长度:而低秩是相对于矩阵而言,低秩体现在矩阵的秩远小于矩阵的实际尺寸.其次,稀疏向量恢复问题可以转化为基于 \(\ell _1\) 范数的凸优化问题,因为 \(\ell _1\) 范数是 \

奇异值分解(SVD)的之低秩近似和特征降维

我们在这一篇<模式识别.推荐系统中常用的两种矩阵分解-----奇异值分解和非负矩阵分解 >中详细介绍了矩阵奇异值分解的数学证明,我们沿用这一篇的博文的符号,继续讨论这一章的内容. 矩阵的奇异值分解定理: 设矩阵,秩为,,则该矩阵可以分解为: 也可以表示为: . 其中:为矩阵(或者)的非零向量,为的对应特征向量,为的对应特征向量,. SVD的第一个作用之低秩近似(Low Rank Approximation): ,, 即用矩阵近似. SVD的第二个作用之特征降维(Dimensionality R

机器学习规范的规则(两)核电规范与规则的偏好

机器学习规范的规则(两)核电规范与规则的偏好 [email protected] http://blog.csdn.net/zouxy09 上一篇博文,我们聊到了L0.L1和L2范数.这篇我们絮叨絮叨下核范数和规则项參数选择. 知识有限,下面都是我一些浅显的看法,假设理解存在错误,希望大家不吝指正.谢谢. 三.核范数 核范数||W||*是指矩阵神秘值的和,英文称呼叫Nuclear Norm.这个相对于上面火热的L1和L2来说,可能大家就会陌生点.那它是干嘛用的呢?霸气登场:约束Low-Rank(