近日,小米举办号称“史上最多重磅新品齐首发”的发布会。会上,包括小米8、MIUI10等在内的一系列重磅新品正式亮相。其中,有着“国产良心系统”之称的MIUI10尤其引人关注,作为小米此次发布会最先登场的新一代手机系统,MIUI10以“全面屏”为核心设计,针对全面屏操作进行了全方位支持和优化,同时全面应用AI,不但能够帮助用户轻松搞定复杂的操作,而且能够带给用户更好的高清画质体验。接下来,我们就一起探寻MIUI10背后的高清画质“神器”。
KIE:将图片变清晰的“神器”
这种将图片变清晰的“神器”,就是KIE(Kingsoft Image &AI Enhancement)。KIE是金山云近期推出的基于AI技术的画质增强产品,将其应用于移动终端或图片传输中,可为用户带来超清的图像视觉体验,或者节省3/4的图片传输带宽成本。
小米MIUI官网对于KIE的介绍
随着移动终端特别是手机分辨率的不断上升,更高分辨率图片的需求也与日俱增,这是因为低分辨率的图片,如果放到高分辨率的屏幕下,就会让视觉效果变得很差。如果720P的图片放在1080P的屏幕上,就会出现这样的问题。
高分辨率屏幕下显示低质量图片,会让视觉效果变差
而传统的解决方案——插值算法,包括双线性插值和临近插值,但这种方法往往会导致边缘出现锯齿、模糊等问题,将大幅降低图片的视觉效果。金山云KIE则基于人工智能技术,对图像重建使其高清放大,适配更高清的屏幕,同时对画面的马赛克、毛刺区域进行修复,提升图片视觉效果。
采用KIE画质增强功能的图片效果对比
采用KIE画质增强功能的图片效果对比
KIE的秘密武器:超分和修复
KIE是如何做到这些的呢?原来,它有两种秘密武器——KIE包含超分辨率(以下简称“超分”)和修复两种技术,在深度卷积神经网络上,KIE的超分模型构建了一个七层的网络,能够有效提升图片质量,解除图片超分时模糊、纹理不清晰等问题。深度卷积神经网络可依据图片重建细节,实现清晰度远超原图的效果。KIE在网络结构、模型训练上进行了大量的探索和尝试,实现了优秀的图像超分和去噪效果。
采用KIE画质增强功能的图片效果对比
细节对比
KIE三倍图片放大效果对比
首先,在网络结构上,KIE采用了Mobile Net V2构造高效的网络模型。KIE结合残差学习思想,有效减少学习难度,采用跨层密集连接结构,利于梯度传播,使得深度网络在更短的时间内学习到更好的模型。采用金字塔结构,使得底层的特征和顶层的特征能够更有效融合。此外,在训练loss上,模型采用SSIM、图像内容损失等,让图片生成更加锐利的细节。
KIE采用金字塔结构,使得底层的特征和顶层的特征能够更有效结合
第二,在模型的训练上,KIE收集了30万张高清图片,确保内容丰富,采用多种方法模拟真实网络图片的生成过程,从而保证模型在推断时达到更好的效果,能够适应绝大部分网络图片,确保学习的全面性。同时进行数据混合,将不同大小倍数的图像混合在一起训练,从而支持不同倍数图片的高清化。
KIE的残差学习结构:加快训练速度并提高图像质量
针对在YUV三通道图像中,人眼对Y通道中最为敏感的特点,KIE针对Y通道和UV通道分别采用不同网络,其中Y通道复杂度高于UV通道的复杂度,在保证人眼质量的情况下,加快了训练和推断速度。
KIE针对微信、今日头条等主流网络图片聚集地进行调研,发现很多分辨率较小的图片,如果与目前主流的移动终端进行匹配,需要放大三倍,这意味着需要对图片的更多细节予以处理,因此难度更大。KIE以经过训练的3X网络对图片进行处理,经过卷积网络的学习和增强,最终提升了图片的质量。
KIE的应用场景
目前,KIE以SDK形式集成到各种应用场景中,包括各类手机厂商系统、超级APP应用、浏览器等。在同等主观质量下,KIE具有SDK体积小、推断速度快和内存占用少的特点,且能够适应多种平台。
在底层优化上,KIE采用模型压缩和量化技术,有效减少SDK的大小和推断速度。并且,采用金山云AI团队构建的高效的深度神经网络实现,在CPU上的推断速度达到了Google tensorlite的二到三倍,内存消耗也大大减少,为KIE的技术推广奠定了基础。
同时,KIE具有强大的跨平台特性,目前支持Android、iOS、PC平台和WEB端,接口简单快速接入。可在终端上实时处理,与×××完全解耦,图片在移动终端上能够达到毫秒级响应,全面提升用户的浏览体验。
名词解释:
MobileNetV2:是对MobileNetV1的改进,是一个轻量化卷积神经网络。
SSIM:SSIM(structural similarity index),结构相似性,是一种衡量两幅图像相似度的指标。该指标首先由德州大学奥斯丁分校的图像和视频工程实验室(Laboratory for Image and Video Engineering)提出。SSIM使用的两张图像中,一张为未经压缩的无失真图像,另一张为失真后的图像。
Google tensorlite:即TensorFlow Lite,Google称Lite版本TensorFlow是TensorFlow Mobile的一个延伸版本。尽管是一个轻量级版本,依然是在智能手机和嵌入式设备上部署深度学习的一大动作。此前,通过TensorFlow Mobile API,TensorFlow已经支持手机上的模型嵌入式部署。TensorFlow Lite应该被视为TensorFlow Mobile的升级版。
原文地址:http://blog.51cto.com/13505171/2128081