JPEG压缩图像超分辨率重建算法

压缩图像超分辨率重建算法学习

超分辨率重建是由一幅或多幅的低分辨率图像重构高分辨率图像,如由4幅1m分辨率的遥感图像重构分辨率0.25m分辨率图像。在军用/民用上都有非常大应用。

眼下的超分辨率重建方法主要分为3类:基于插值、基于学习、基于重建的方法。现在已经研究得比較多。可是大多数算法都是对普通图像进行研究,针对压缩图像/视频超分辨率重建的研究比較少。近期查阅部分文献。进行了学习。在此做些总结。

相关的文献:

1、Super-resolution from compressed video

2、Bayesian Resolution Enhancement of Compressed Video

3、RobustWeb Image/Video Super-Resolution

4、Self-Learning-Based Single Image Super-Resolution

of a Highly Compressed Image

算法原理:

文献1/2:文献1/2是同一人写的,该作者就该问题发表了多篇文章,方法基本类似。其思路与常规的基于重建的超分辨率方法类似,都是建立观測模型。依据数据保真项和正则化项建立重建代价函数。不同的是,数据保真项有些变化,由于要考虑压缩图像特有的量化噪声及取整噪声等,而不是通常如果的高斯噪声。此外正则化项也有所不同。须要考虑JPEG图像的块效应等,因此除了常规的约束,要对块边界的高频进行限制。详细内容參看文献。

文献3:这篇文献相对要新点,是2010年的。文章的思路非常好理解,先对JPEG压缩图像去块效应,然后超分辨率。在去块效应阶段,作者使用的是自适应PDE正则化方法,同一时候提出一种自适应确定正则化强度的方法。而在重建阶段。则是採用的基于例子的方法,这种方法相对照较成熟。

事实上这样的两步处理方式并不合理,是不提倡这样处理的,而应该将其放到一起考虑,如文献1/2那样。

文献4:这篇文献採用了稀疏字典的相关方法。对于待重建的图像。首先进行下採样。并将原始图像和下採样图像都用BM3D处理提取低频,相减后得到原始图像和下採用图像的高频(作者觉得块效应仅仅存在于高频分量之中,分别获取原始图像和下採样图像的高频是为了训练字典,而且是自训练字典)。

检測出高频之后。作者提出将高频分为有块效应块/无块效应块。分别建立字典D1/D2。而对于有块效应字典D1。作者将其原子聚类,觉得1部分原子是对块效应做贡献的,还有一部分原子则不含块效应,那么对于输入的块,我就仅仅採用不含块效应的原子重建,达到去块效应的目的。

事实上这样的去块效应的方法。作者写了还有一篇文章,EFFICIENT IMAGE/VIDEO DEBLOCKING VIA SPARSE REPRESENTATION,大家能够看一看。看了之后就更好理解这篇关于压缩图像超分辨率的文章,无非就是字典构建的问题。

临时就这么多,写得不好,各位看官将就看,有问题能够再讨论哦!

!!!

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

研究方向:图像压缩、超分辨率、图像去噪、图像复原等图像质量提升技术

时间: 2024-10-22 21:37:52

JPEG压缩图像超分辨率重建算法的相关文章

[转]图像超分辨率重建简介

图像超分辨率重建技术就是利用一组低质量.低分辨率图像(或运动序列)来产生单幅高质量.高分辨率图像.图像超分辨率重建应用领域及其宽广,在军事,医学,公共安全,计算机视觉等方面都存在着重要的应用前景.在计算机视觉领域,图像超分辨率重建技术有可能使图像实现从检出水平(detection level)向识别水平(recognition level)的转化,或更进一步实现向细辨水平(identification level)的转化.图像超分辨率重建技术可以提高图像的识别能力和识别精度.图像超分辨率重建技术

图像超分辨率重建之srcnn,基于tensorflow实现

本篇适用人群对于那些知道srcnn的每个步骤的人但是不是很会打代码的人 首先,附上我的github:https://github.com/zzydashuaibi/srcnn_tensorflow 在写代码之前,我们需要明白一件事就是我们每一次训练实际上是训练图片的某一部分(33*33)最后输出的是卷积后的大小只有22*22,所以srcnn的预处理要比其他的图像重建的模型要复杂一点. 他除了一般的预处理操作,还需要将图片分割,最后的训练完还做实验的时候还需要将图片结合起来,至于其他的,相信你自己

超分辨率重建——背景与研究意义

一个课题,首先别人会问你为什么会研究这个,所以这是必须的. 超分辨率重建是指通过对数字图像信号的分析,采用软件算法的方式,由一帧或多帧图像重建转化成更高分辨率图像或视频的技术. 既然采用软件的算法,必然是因为硬件上的不足,那么当前硬件上存在哪些技术性的不足呢,下面有请: 1: 减小传感器中的像素尺寸,提高阵列密度 一方面技术工艺限制,另一方面当像素尺寸减小到一定程度时,加性噪声几乎维持不变,有效信号的能量将随传感器像素尺寸成比例减小,导致所形成图像的信噪比下降,退化反而加重 2:增大成像阵列芯片

用一个玩具例子说明基于视频的超分辨率重建的基本思想

本文是基于知乎上的一个答案 基于视频的超分辨率重建是指从许多帧连续的低分辨率图像中重建出一幅高分辨率的图像,并且这幅高分辨率的图像能够显示出单帧低分辨率图像中丢掉的细节,比如下面是一个2秒视频(176x144)中的一帧: 为了方便和分辨率重建之后的图片对比,用Nearest Neighbor放大到了704x576.而下面是重建后的超分辨率图像: 可以看到,许多丢失的细节被重建了,这就是基于视频序列的超分辨率重建. 接下来用一个玩具例子来说明基本原理,首先打开画图板,写下一个线条分明,软绵无力,面

图像超分辨率项目帮你「拍」出高清照片

相机不够算法凑,拥有超级拍照能力的手机也离不开算法的加持.本文介绍的图像超分辨率项目可以帮你补齐相机镜头的短板. 华为 P30 发布会上展示的埃菲尔铁塔高清远距离照片 今天,一位 Reddit 网友贴出了自己基于 Keras 的图像超分辨率项目,可以让照片放大后依然清晰.先来看一下效果. 放大数倍后,照片中的蝴蝶(蛾子?)依然没有失真,背上的绒毛清晰可见 作者表示,该项目旨在改善低分辨率图像的质量,使其焕然一新.使用该工具可以对图像进行超级放缩,还能很容易地在 RDN 和 GAN上进行实验. 该

【超分辨率专题】—基于深度学习的图像超分辨率最新进展与趋势

1.简介 图像超分辨率是计算机视觉和图像处理领域一个非常重要的研究问题,在医疗图像分析.生物特征识别.视频监控与安全等实际场景中有着广泛的应用.随着深度学习技术的发展,基于深度学习的图像超分方法在多个测试任务上,取得了目前最优的性能和效果.本文介绍的一篇综述(Deep Learning for Image Super-resolution:A Survey)给出了一个统一的深度学习视角,来回顾最近的超分技术进展,主要包括三个方面: 给出了综合性的基于深度学习的图像超分技术综述,包括问题设置.数据

基于自相似的单幅图像超分辨率放大

先放上处理效果 小图像: 放大4倍的图像: 参考论文:http://www.cs.huji.ac.il/~raananf/projects/lss_upscale/ 应用: 可用于常用小幅图像的放大处理,也可应用于标清视频向高清/超高清视频的放大显示处理.相比于常用的bilinear.bicubic.window sinc等算法,可得到清晰度更高的效果. 缺点: 由于作者未公开代码,因此按照论文实现的效果,与作者给出的放大同等倍数效果仍存在一些差异,后续还需要研究.

基于学习的超分辨率算法

基于学习的超分辨率技术最早是由卡耐基一梅隆实验室的 Baker S在2000年提出的.他们提出一种基于识别先验 知识的方法,通过算法去学习训练指定类别,将得到的先验 知识用于超分辨率.随后,多伦多大学的 Hertzmann a等提 出了基于多尺度自动回归的图像类比算法.麻省理工学院的 Freeman WT5等提出了一个基于例子的方法,利用马尔可夫 网络来学习训练库中与低分辨率图像不同区域相对应的高分 辨率图像的细节,再用学习得到的关系来预测输入低分辨率 图像的细节信息. Christopher

看得“深”、看得“清” —— 深度学习在图像超清化的应用

日复一日的人像临摹练习使得画家能够仅凭几个关键特征画出完整的人脸.同样地,我们希望机器能够通过低清图像有限的图像信息,推断出图像对应的高清细节,这就需要算法能够像画家一样"理解"图像内容.至此,传统的规则算法不堪重负,新兴的深度学习照耀着图像超清化的星空. 本文首发于<程序员>杂志 图1. 最新的Pixel递归网络在图像超清化上的应用.左图为低清图像,右图为其对应的高清图像,中间为算法生成结果.这是4倍超清问题,即将边长扩大为原来的4倍. 得益于硬件的迅猛发展,短短几年间,