风格迁移学习三

论文:

  Instance Normalization: The Missing Ingredient for Fast Stylization

  

提出背景:

  在论文《Image style transfer using convolutional neural networks》中提出了风格迁移算法,将一个图像的风格转移到另一个图像中,这个被风格化的图像同时匹配风格图和内容图,风格统计和内容统计都是从预训练好的用于图像分类的深度神经网络中提取出来的。风格统计是从浅层提取的,并且在空间位置上是均匀的,内容统计的提取则是从较深的层中提取,并且保留了空间位置上的信息。在这种方式中,风格统计信息是捕获风格图像的“纹理”,而内容统计是捕获内容图像的“结构”。如下图。

  

  该论文中提出的方法可以产生很好的结果,但是计算效率比较差,为了改进计算效率,后来在另外两篇文章《Perceptual losses for real-time style transfer and superresolution》和《Texture networks: Feed-forward synthesis of textures and stylized images》中提出了通过学习等效的前馈生成网络,以便在单方向产生风格化的图像,这两种方法的不同在于生成器的结构细节不同,以及产生的结果的质量不同,然而,这两人产出结果从质量上看都没有最开始提出的慢的方法好。

因此作者重新复现了《Texture networks: Feed-forward synthesis of textures and stylized images》中的前馈网络进行图像的风格化,对生成器的结构提出了小的改变,从而带来性能的提升,可以达到和最初慢的方法相媲美的质量。

方法:

  

  作者认为,图像风格化的结果不应该取决于内容图的对比度,而是取决于风格图像的对比度,所以在生成器中必须忽略内容图的对比度信息,而可以通过对CNN网络中正则化的改变来修改对内容图的对比度信息。

  

实验:

  对比了batch-normalization和instantce-normalization两种方法,结果如下:

  

  看出这两种方法的生成器的质量是相近的,但是第二行采用instantce-normalization的效果要比第一行采用batch-normalization效果要好。

参考文章:

  1. [译] Instance Normalization: The Missing Ingredient for Fast Stylization
  2. 基于神经网络的图片风格转移小结

原文地址:https://www.cnblogs.com/yunkaiL/p/11013822.html

时间: 2024-11-09 02:02:58

风格迁移学习三的相关文章

NASNet学习笔记——?? 核心一:延续NAS论文的核心机制使得能够自动产生网络结构; ?? 核心二:采用resnet和Inception重复使用block结构思想; ?? 核心三:利用迁移学习将生成的网络迁移到大数据集上提出一个new search space。

from:https://blog.csdn.net/xjz18298268521/article/details/79079008 NASNet总结 论文:<Learning Transferable Architectures for Scalable Image Recognition> 注 ??先啥都不说,看看论文的实验结果,图1和图2是NASNet与其他主流的网络在ImageNet上测试的结果的对比,图3是NASNet迁移到目标检测任务上的检测结果,从这图瞬间感觉论文的厉害之处了,值

Keras实现风格迁移

风格迁移 风格迁移算法经历多次定义和更新,现在应用在许多智能手机APP上. 风格迁移在保留目标图片内容的基础上,将图片风格引用在目标图片上. 风格本质上是指在各种空间尺度上图像中的纹理,颜色和视觉图案;内容是图像的高级宏观结构. 实现风格迁移背后的关键概念与所有深度学习算法的核心相同:定义了一个损失函数来指定想要实现的目标,并最大限度地减少这种损失. 知道自己想要实现的目标:在采用参考图像的样式的同时保留原始图像的内容.如果我们能够在数学上定义内容和样式,那么最小化的适当损失函数将是以下内容:

迁移学习(Transfer Learning)(转载)

原文地址:http://blog.csdn.net/miscclp/article/details/6339456 在传统的机器学习的框架下,学习的任务就是在给定充分训练数据的基础上来学习一个分类模型:然后利用这个学习到的模型来对测试文档进行分类与预测.然而,我 们看到机器学习算法在当前的Web挖掘研究中存在着一个关键的问题:一些新出现的领域中的大量训练数据非常难得到.我们看到Web应用领域的发展非常快速.大量新的领域不断涌现,从传统的新闻,到网页,到图片,再到博客.播客等等.传统的机器学习需要

迁移学习( Transfer Learning )

在传统的机器学习的框架下,学习的任务就是在给定充分训练数据的基础上来学习一个分类模型:然后利用这个学习到的模型来对测试文档进行分类与预测.然而,我们看到机器学习算法在当前的Web挖掘研究中存在着一个关键的问题:一些新出现的领域中的大量训练数据非常难得到.我们看到Web应用领域的发展非常快速.大量新的领域不断涌现,从传统的新闻,到网页,到图片,再到博客.播客等等.传统的机器学习需要对每个领域都标定大量训练数据,这将会耗费大量的人力与物力.而没有大量的标注数据,会使得很多与学习相关研究与应用无法开展

增强学习、增量学习、迁移学习——概念性认知

一.增强学习/强化学习(Reinforcement Learning ) 我们总是给定一个样本x,然后给或者不给label y.之后对样本进行拟合.分类.聚类或者降维等操作.然而对于很多序列决策或者控制问题,很难有这么规则的样本.比如,四足机器人的控制问题,刚开始都不知道应该让其动那条腿,在移动过程中,也不知道怎么让机器人自动找到合适的前进方向.另外如要设计一个下象棋的AI,每走一步实际上也是一个决策过程,虽然对于简单的棋有A*的启发式方法,但在局势复杂时,仍然要让机器向后面多考虑几步后才能决定

迁移学习全面概述:从基本概念到相关研究

目录: 1.什么是迁移学习? 2.为什么现在需要迁移学习? 3.迁移学习的定义 4.迁移学习的场景 5.迁移学习的应用 从模拟中学习 适应到新的域 跨语言迁移知识 6.迁移学习的方法 使用预训练的 CNN 特征 学习域不变的表征 让表征更加相似 混淆域 7.相关的研究领域 半监督学习 更有效地使用可用的数据 提高模型的泛化能力 让模型更加稳健 多任务学习 持续学习 zero-shot 学习 8.总结 ------------------------------------------------

风格迁移(2)-Fast Style Transfer

X为输入图片 fw 风格迁移的网络 yc就是X ys是风格后的图片 y帽为输入图片X经过fw 风格迁移的网络生成的图片 y帽在内容上与yc相类似,在风格上与ys相类似. Fast Style Transfer的训练步骤如下: 1 输入一张图片x到fw中得到结果y帽 2 将y帽与yc输入到loss network(VGG-16)中,计算它的relu3_3的输出,并计算它们的均方误差作为content loss 3 将y帽与ys输入到loss network(VGG-16)中,计算它的relu1_2

(转)Matlab深度学习工具试玩手册一:基本操作与迁移学习

原贴博客:https://blog.csdn.net/zfrycw/article/details/80633979 目录 前言 一.利用现成网络进行分类 二.构建简单的分类网络 三.迁移学习 前言 Matlab从2016a版本开始提供了深度学习的相关工具,可以很方便地构建自己的网络或下载一些现成的经典网络(如AlexNet,GoogLeNet和VGG系列)进行迁移学习.作为一个初学者,我粗浅地认为,对于深度学习,我们实际的操作步骤可以分三大块:数据集(包括载入图片,制作训练集验证集,送入网络前

迁移学习综述

参考论文:A Survey on Transfer Learning 1.Introduction 在机器学习和数据挖掘中有一个很普遍的假设就是训练数据和测试数据来源于统一特征空间并服从相同的分布.而当测试数据分布发生改变之后,我们又不得不从新收集同分布的训练数据并从新训练模型.这在真实的应用中去从很难去重新收集数据并建模,而且给原始数据人工标签的代价也很昂贵.在这些情况下,迁移学习可以很好的解决这些问题. 什么是迁移学习?用一句话概述就是基于已有的知识可以更快的学习新的知识.例如一个人会下象棋