going deeper with convolutions (Googlenet网络解读)

http://www.gageet.com/2014/09203.php这个网址已都经把文章翻译好了,这里主要是说两点:

1.Googlenet借鉴了network in network里的多层感知器结构,也就是convolution层的 kernel_size=1,它的好处主要是体现在以下两方面:

a.降维,解决计算瓶颈;

b.提高神经网络的表达能力(多层感知器)。

2.Googlenet有一点突破就是对数据卷积核进行并联(多尺度的对图像进行卷积),考虑到计算的时间问题,底层用大卷积核(7*7),上层用小卷积核(3*3,5*5),值得借鉴啊。

最后,引用知乎上一为大牛讲解 Googlenet话:http://www.zhihu.com/question/27393324

正如文章中所写,增加网络宽度的好处,来源于不同尺度的卷积核并联,从而实现了对multi-scale特征的利用,也就是文章中Figure 2(a),给出的inception module的结构。但是较大尺度卷积核的使用,会带来网络规模以及计算量的增加。这里作者提出了采用小卷积核和大卷积核级联的方法,来压缩模型的参数量,也就是文中的Figure 2(b)。

按文章中Figure 3所示的网络结构,我们可以算一下:对于一张224*224*3的图片,过完前三层公用的卷积(7*7-1*1-3*3)之后,feature map的大小是28*28*192。这时如果直接使用128个3*3的卷积核,那么需要(3*3*192*128)个parameter,而如果按文中所述先用1*1的卷积核把feature map的第三维维数先降下来,再用3*3的卷积,这样模型的规模就可以小很多,文中用了96个1*1+128个3*3的卷积核级联,这时parameter的数目变成了(1*1*192*96+3*3*96*128),几乎只是原来的一半。同理对5*5的卷积,文中用16个1*1+32个5*5卷积核级联,代替直接使用32个5*5卷积核,parameter数目从(5*5*192*32)下降到(1*1*192*16+5*5*16*32)。后面每层也依次类推。

时间: 2024-10-29 14:20:40

going deeper with convolutions (Googlenet网络解读)的相关文章

Going deeper with convolutions——Googlenet论文翻译

Going deeper with convolutions 摘要 在ImageNet大规模视觉识别挑战赛2014(ILSVRC14)上我们提出了一种代号为 " Inception " 的深度卷积神经网络结构,且图像分类和检测上取得了新的最好结果.该体系结构的主要特点是提高了网络内的计算资源利用率.这是通过精心设计实现的,该设计允许在保持计算预算不变的同时增加网络的深度和宽度.为了网络的优化质量,架构设计基于Hebbian原则和多尺度处理直觉的基础.我们在为ILSVRC14 提交的模型

【CV论文阅读】Going deeper with convolutions(GoogLeNet)

目的: 提升深度神经网络的性能. 一般方法带来的问题: 增加网络的深度与宽度. 带来两个问题: (1)参数增加,数据不足的情况容易导致过拟合 (2)计算资源要求高,而且在训练过程中会使得很多参数趋向于0,浪费计算资源. 解决方法: 使用稀疏连接替代稠密结构. 理论依据(Arora):一个概率分布可以用一个大的稀疏的深度神经网络表示,最优的结构的构建通过分析上层的激活状态的统计相关性,并把输出高度相关的神经元聚合.这与生物学中Hebbian法则“有些神经元响应基本一致,即同时兴奋或抑制”一致. 存

Going deeper with convolutions(GoogLeNet、Inception)

从LeNet-5开始,cnn就有了标准的结构:stacked convolutional layers are followed by one or more fully-connected layers.对于Imagenet这种大的数据集,趋势是增加层数和层的大小,用dropout解决过拟合. 1×1卷积核在Inception中大量使用,两个作用:dimension reduction and rectified linear activation(即增加非线性) 提升深度神经网络的最直接方式

解读(GoogLeNet)Going deeper with convolutions

(GoogLeNet)Going deeper with convolutions Inception结构 目前最直接提升DNN效果的方法是increasing their size,这里的size包括depth和width两方面.在有足够的labeled training data 时这种方法是最简单以及稳妥的方法来获得一个高质量的模型.但是往往实际中大的网络会有更多的参数,当training data数量很少时,很容易出现overfitting,并且大的网络需要的计算资源也是更多.这是需要将

Going Deeper with convolutions

Going Deeper with convolutions 转载请注明: http://blog.csdn.net/stdcoutzyx/article/details/40759903 本篇论文是针对ImageNet2014的比赛,论文中的方法是比赛的第一名,包括task1分类任务和task2检测任务.本文主要关注针对计算机视觉的高效深度神经网络结构,通过改进神经网络的结构达到不增加计算资源需求的前提下提高网络的深度,从而达到提高效果的目的. 1. Main Contribution Imp

Going Deeper with Convolutions阅读摘要

  论文链接:Going deeper with convolutions 代码下载: Abstract We propose a deep convolutional neural network architecture codenamed Inception that achieves the new state of the art for classification and detection in the ImageNet Large-Scale Visual Recognitio

跟我学算法-图像识别之图像分类(下)(GoogleNet网络, ResNet残差网络, ResNext网络, CNN设计准则)

1.GoogleNet 网络: Inception V1 - Inception V2 - Inception V3 - Inception V4 1. Inception v1 split - merge - 1*1卷积,3*3卷积, 5*5卷积, 3*3池化 输入层:inception 1*1 卷积 1*1卷积 - 3*3卷积 1*1卷积 - 5*5卷积 3*3 maxpooling - 1*1 卷积 2个辅助分类器 深网络中,梯度回传到最初几层,存在严重消失问题 有效加速收敛 测试阶段不适

Inception——Going deeper with convolutions

1. 摘要 作者提出了一个代号为 Inception 的卷积神经网络架构,这也是作者在 2014 年 ImageNet 大规模视觉识别挑战赛中用于分类和检测的新技术. 通过精心的设计,该架构提高了网络内计算资源的利用率,因而允许在增加网络的深度和宽度的同时保持计算预算不变. 在作者提交的 ILSVRC14 中使用的一个特定的模型称为 GoogLeNet ,一个 22 层深的网络,在分类和检测的背景下对其性能进行了评估. 2. 介绍 在过去三年中,卷积神经网络在图像识别和物体检测领域取得了巨大的进

googLeNet网络

1.什么是inception结构 2.什么是Hebbian原理 3.什么是多尺度处理 最近深度学习的发展,大多来源于新的想法,算法以及网络结构的改善,而不是依赖于硬件,新的数据集,更深的网络,并且深度学习的研究不应该完全专注于精确度的问题上,而更应该关注与网络结构的改善方面的工作. https://blog.csdn.net/qq_31531635/article/details/72232651 原文地址:https://www.cnblogs.com/1a2a/p/9865396.html