纯干货:深度学习实现之空间变换网络-part2

https://www.jianshu.com/p/854d111670b6

纯干货:深度学习实现之空间变换网络-part1

在第一部分中,我们主要介绍了两个非常重要的概念:仿射变换和双线性插值,并了解到这两个概念对于理解空间变换网络(Spatial Transformer Networks)非常重要。

在这篇文章中,我们将详细介绍一篇空间变压器网络这一论文——Go

ogle Deepmind的研究人员Max Jaderberg,Karen Simonyan,Andrew Zisserman和Koray Kavukcuoglu最早提出了这一概念。

读完本文,希望你能够对这个模型有一个清晰的认识和理解。我们将在后续第三部分中使用Tensorflow实现该网络。

目的

在进行分类任务时,我们通常希望系统对变化的输入具有较强的鲁棒性。 也就是说,如果输入需要经过某种“转换”,我们的分类模型理论上应该在转换之前输出相同的类标签。一般情况下,图像分类模型可能会面临以下“挑战”:

1.规模变化:现实世界和图像中的尺寸变化。

2.视角变化:随着观察者的角度变化,物体的取向不同。

3.变形:非刚体可以变形并扭曲成不寻常的形状。

对于人类来说,将上图中的对象进行分类,这很简单。但是,计算机算法仅适用于原始3维亮度值数组,因此输入图像的微小变化也可能会改变相应数组中的像素值。因此,理想的图像分类模型理论上应该能够从纹理和形状中分离出物体的形态和变形,如下面的猫咪图像。

左图:较难分类的猫咪图像。 右图:生成简化分类管道的转换图像。

如果我们的模型可以使用某种组合来从左到右执行,从而简化后续的分类任务,那么这是不是非常理想?

池化层

事实证明,我们在神经网络架构中使用池化层,这使模型具有一定程度的空间恒定性。池化操作也是一种降采样机制,它逐层降低了深度维度上特征映射的空间大小,同时也减少了参数的数量和计算成本。

池化层在空间上对数组进行下采样。上图中,左图为大小为[224*224*64]的输入数组与维度为2、步长为2的滤波器做最大池化操作,输出大小为[112*112*64]的数组。右图为2*2的最大池化数组。

它是如何具有恒定性的?我们可以这样理解,池化的思想是采用复杂的输入,将其分解为一个个单元,并将这些复杂单元中的信息“池化”,产生一组更简单的单元集,来描述输出。举例来说,假设我们有3张数字7的图片,每张图片的方向不同。我们通过聚合像素值可以捕获到大致相同的信息,因此不管数字在网格中的哪个位置,每张图像网格上的池化都会检测到数字7。

池化之所以不受欢迎,有以下限制因素。首先,池化具有破坏性。在使用池化时,75%的特征激活会面临丢失,这就意味着我们会丢失确切的位置信息。由于我们之前提到过,池化赋予了网络一定的空间鲁棒性,而位置信息在视觉识别中尤为重要。想想上面提到的猫咪分类器,相对于鼻子的位置,知道胡须的位置可能更重要。当我们使用最大池化时,这些信息就已经丢失了。

池化的另一个限制因素是,它是本地和预定义的。由于感受野较小,池化操作只会对网络的更深层产生影响,这就意味着中间特征映射可能会有更大的输入失真。请记住,由于只增加感受野会过于降低我们的特征映射,因此,我们不能随意的只增加感受野。

另外一个主要的问题就是,对于相对较大的输入失真,卷积网络并不是恒定的。这种限制源于,只有一个用于处理数据空间变化的受限预定义池化机制。这就是空间变换网络发挥作用的地方!

Geoffrey Hinton曾表示:在卷积神经网络中使用池化操作是一个很大的错误,并且网络能够稳定运作本身也是一场灾难。

空间变换网络(STNs)

通过为卷积神经网络提供确切的空间变换,空间变换机制解决了上述问题,它拥有3个属性。

1.模块化:只需要进行微小的调整,就可以将空间变换网络插入到现有体系结构的任何地方。

2.可区分性:可以使用反向传播算法进行训练,允许对所插入的模型进行端到端的训练。

3.动态的:在每个输入样本的特征映射上执行主动空间变换,而池化层则是对所有输入样本进行操作。

正如你所看到的,空间变换在所有方面都优于池化运算符。那么,什么是空间变换呢?

如上图所示,空间变换模块由三个部分组成:一个定位网络(localisation network),一个网格生成器(grid generator )和一个采样器(sampler)。我们不能盲目的对输入图像进行仿射变换,首先需要创建一个采样网格,对其进行转换,然后使用网格对输入图像进行采样,这一点非常重要。下面我们来看一下空间变换的核心部分。

定位网络

定位网络是作用于输入特征映射,输出仿射变换参数θ。其定义如下:

1.输入:形状为(H,W,C)的特征映射U。

2.输出:形状为(6,)的变换矩阵θ。

3.架构:全连接网络或卷积网络。

在训练网络时,我们希望定位网络能够输出越来越精确的θ。精确意味着什么呢?试想一下数字7逆时针旋转90度。经过2次训练以后,定位网络能够输出一个变换矩阵,来执行45度的顺时针旋转,经过5次训练以后,实际上可以学习完成90度的顺时针旋转。我们的输出图像看起来就像一个标准数字7,这是我们的神经网络在训练数据中看到的,并且可以对其进行轻松的分类。

另一种方式则是,定位网络学习存储如何将每个训练样本转换为其所在层的权重。

参数化的采样网格

网格生成器的作用是输出一个参数化的采样网格,这是一组点集,即输入映射经过采样产生期望的转换输出。

具体来说,网格生成器首先创建与输入图像U(格式为(H,W))相同大小的归一化网格,即覆盖整个输入特征映射的一个索引集(xt,yt)映射(上标t代表输出特征映射的目标坐标)。由于我们对这个网格做了仿射变换,并且想要使用变换,我们继续在坐标矢量上添加一行进行计算。最后,我们将6个参数θ塑造为一个2*3矩阵,并执行下面的乘法运算,就会得到我们所需要的参数化采样网格。

输出的列向量包含一组索引,告诉我们应该在哪里对输入进行采样,就能得到所需的转换输出。但是,如果这些指数是分数呢?这就是即将要介绍双线性插值的原因。

可微分的图像采样

由于双线性插值是可微的,因此非常适用于空间变换网络。通过输入特征映射和参数化采样网格,我们进行双线性采样并获得形状为(H‘,W‘,C‘)的输出特征映射V。这就意味着,我们可以通过指定采样网格的形状,来执行下采样和上采样。我们绝对不仅限于双线性采样,还可以使用其他的采样内核,但重要的一点是:它必须是可微的,以便允许损失梯度一直流回的定位网络。

图为将参数化采样网格应用于图像U(输出为V)的两个例子。(a)恒等变换(即U = V)(2)仿射变换(即旋转)

上述为空间变换的内部工作原理,可将其归结为我们一直在谈论的两个关键概念:仿射变换和双线性插值。我们让网络学习最佳的仿射变换参数,这将有助于独立完成分类任务。

有趣的空间变换

最后,我们来举两个例子,说明下空间变换的应用。

失真MINIST数据集

下图是将空间变换作为全连接网络的第一层,对失真MNIST数据集的数字进行分类的结果。

注意它是怎样学会理想的“鲁棒性”图像分类模型?通过放大和消除杂乱的背景,将输入进行“标准化”进行分类。如果你想查看变换的实时动画,请点击这里

德国交通标志识别GTSRB数据集

左图:训练期间空间变换的行为。注意它是如何逐渐消除背景来学习交通标志。右图为不同输入图像的输出。请注意,无论输入如何变化和失真,输出都保持近似恒定。

总结

本文概览了Google Deepmind的空间变换网络论文。我们首先介绍了分类模型所面临的挑战,主要是输入图像失真导致分类失败。一种解决方案是使用池化层,但是有明显的局限性——使用率很低。另一个解决方案就是本文的空间变换网络。

这其中包含一个可微的模块,可以插入到卷积网络中任何一个位置以增加其几何不变性。它赋予了网络空间变换特征映射,而无需额外增加数据或监督成本。最后,整个机制归结为两个熟悉的概念:仿射变换和双线性插值。

以上为译文。

本文由阿里云云栖社区组织翻译。

文章原标题《Deep Learning Paper Implementations: Spatial Transformer Networks - Part II》,译者:Mags,审校:袁虎。

详细内容请查看原文

作者:阿里云云栖社区
链接:https://www.jianshu.com/p/854d111670b6
來源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

原文地址:https://www.cnblogs.com/jukan/p/10286631.html

时间: 2024-10-18 11:08:08

纯干货:深度学习实现之空间变换网络-part2的相关文章

深度学习——卷积神经网络 的经典网络(LeNet-5、AlexNet、ZFNet、VGG-16、GoogLeNet、ResNet)

一.CNN卷积神经网络的经典网络综述 下面图片参照博客:http://blog.csdn.net/cyh_24/article/details/51440344 二.LeNet-5网络 输入尺寸:32*32 卷积层:2个 降采样层(池化层):2个 全连接层:2个 输出层:1个.10个类别(数字0-9的概率) LeNet-5网络是针对灰度图进行训练的,输入图像大小为32*32*1,不包含输入层的情况下共有7层,每层都包含可训练参数(连接权重).注:每个层有多个Feature Map,每个Featu

【PyTorch深度学习60分钟快速入门 】Part2:Autograd自动化微分

在PyTorch中,集中于所有神经网络的是autograd包.首先,我们简要地看一下此工具包,然后我们将训练第一个神经网络. autograd包为张量的所有操作提供了自动微分.它是一个运行式定义的框架,这意味着你的后向传播是由你的代码运行方式来定义的,并且每一个迭代都可以是不同的. 下面,让我们使用一些更简单的术语和例子来解释这个问题. 0x01 变量(Variable) autograd.Variable是autograd包的核心类,它封装了一个张量,并支持几乎所有在该张量上定义的操作.一旦完

深度学习原理与框架-卷积网络细节-经典网络架构 1.AlexNet 2.VGG

1.AlexNet是2012年最早的第一代神经网络,整个神经网络的构架是8层的网络结构.网络刚开始使用11*11获得较大的感受野,随后使用5*5和3*3做特征的提取,最后使用3个全连接层做得分值得运算,使用的是softmax分类器 2. VGG-net,网络的特点是全部使用3*3的卷积,通常有两个版本一个是16-VGG和19-VGG,每一进行完一次maxpool,都进行一次维度的提升,为了减少由于降维压缩而导致的信息损失.最后使用3个全连接层进行得分值得预测,使用的是softmax计算损失值 原

Spatial Transformer Networks(空间变换神经网络)

Reference:Spatial Transformer Networks [Google.DeepMind]Reference:[Theano源码,基于Lasagne] 闲扯:大数据不如小数据 这是一份很新的Paper(2015.6),来自于Google旗下的新锐AI公司DeepMind的三位剑桥Phd研究员. 他们针对CNN的特点,构建了一个新的局部网络层,称为空间变换层,如其名,它能将输入图像做任意空间变换. 在我的论文[深度神经网络在面部情感分析系统中的应用与改良]中,提出了一个有趣观

斯坦福CS231n—深度学习与计算机视觉----学习笔记 课时26&&27

课时26 图像分割与注意力模型(上) 语义分割:我们有输入图像和固定的几个图像分类,任务是我们想要输入一个图像,然后我们要标记每个像素所属的标签为固定数据类中的一个 使用卷积神经,网络为每个小区块进行分类,对在区块的中间打上标签,对图像的全部区块分类完毕,我们就可以得到每个像素所对应的标签,这个操作实际上非常耗时,因为一张图片将会被分割非常多的小块. 如果这些神经网络具有相关的结构,通过这个图像金字塔方法的话,这些图像的输出将会有不同的感受野. 语义分割的迭代精化 我们有一个输入图像,他们被分割

深度学习(综述,2015,应用)

0. 原文 Deep Learning Algorithms with Applications to Video Analytics for A Smart City: A Survey 1. 目标检测 目标检测的目标是在图像中精确定位目标的位置.已经提出了许多使用深度学习算法的工作.我们回顾如下一些有代表性的工作: Szegedy[28]修改了深度卷积网络,用回归层代替最后一层,目的是针对目标的box产生一个binary mask,如图3所示.另外,还提出多尺度策略,来提高检测精度.他们做的

深度学习基本知识

概念与理解 来源:https://zhuanlan.zhihu.com/p/22888385 一.基本变换:层.层在做什么? 神经网络由层来构建.每一层的工作内容: (动态图5种空间操作) 每层神经网络的数学理解:用线性变换跟随着非线性变化,将输入空间投向另一个空间. 每层神经网络的物理理解:通过现有的不同物质的组合形成新物质. 二.理解视角:层的行为如何完成识别任务? 数学视角:"线性可分" 这里有非常棒的可视化空间变换demo,一定要打开尝试并感受这种扭曲过程.更多内容请看Neur

卷积在深度学习中的作用(转自http://timdettmers.com/2015/03/26/convolution-deep-learning/)

卷积可能是现在深入学习中最重要的概念.卷积网络和卷积网络将深度学习推向了几乎所有机器学习任务的最前沿.但是,卷积如此强大呢?它是如何工作的?在这篇博客文章中,我将解释卷积并将其与其他概念联系起来,以帮助您彻底理解卷积. 已经有一些关于深度学习卷积的博客文章,但我发现他们都对不必要的数学细节高度混淆,这些细节没有以任何有意义的方式进一步理解.这篇博客文章也会有很多数学细节,但我会从概念的角度来看待他们,在这里我用每个人都应该能够理解的图像表示底层数学.这篇博文的第一部分是针对任何想要了解深度学习中

深度学习中得数学,高效计算基础与线性分类器

深度学习说到底就是要调节网络中得权重,使网络的分类结果更接近于训练值.这个重复迭代的过程又是一个线性回归的问题.在这种可能会用到高数,线性代数,概率论中的知识. 一.数学基础提一提. 1.高数中得知识. 高数中最重要的就是微积分了,那在深度学习中出现最多的一个概念就是梯度.什么是梯度呢?要说导数,学过高数的肯定都知道.其实梯度就是当把标量x变成向量X时,对X求导就是梯度.那为什么要用梯度呢?因为梯度等于0在凸函数中往往代表着一个极小值点.我们要求得就是损失函数的极小值,这正是我们需要的.梯度是指