典型卷积神经网络架构

  • 参考资料
  • 0 Figures First
  • 1 LeNet5
    • 贡献
  • 2 Dan Ciresan Net
  • 3 AlexNet
    • 贡献
  • 4 VGG19
    • 贡献
  • 5 Network-in-network(NiN)
  • 6 Inception V1-V3
    • 贡献

参考资料

0 Figures First

  1. CNN架构演变

    搬运一张图,总结的很好。

  2. Top1 vs operations, size ∝ parameters

    上图是精度(Top1)与运算量的比较,详细分析在这里

  3. ImageNet比赛获奖网络

    这是何凯明大神的成果,参考文献还没找到。

1 LeNet5

第一个卷积神经网络,1994年由Yann LeCun基于1988年以来的工作提出,并命名为LeNet5

贡献

  • 在神经网络中引入卷积层
  • 引入下采样
  • 卷积+池化(下采样)+非线性激活的组合是CNN的典型特征
  • 使用MPL作为分类器

虽然是一个只有5层的小网络,但却是当之无愧的开创性工作。卷积使得神经网络可以共享权值,一方面减少了参数,另一方面可以学习图像不同位置的局部特征.

引入下采样是因为图像特征的相对位置比其精确位置更重要,而后来的网络更多采用最大池化。

2 Dan Ciresan Net

2010年,Dan Claudiu Ciresan和Jurgen Schmidhuber实现了第一个GPU神经网络

3 AlexNet

AlexNet是2012年ImageNet比赛的冠军,第一个基于CNN的ImageNet冠军,网络比LeNet5更深(8层)。

贡献

  • 使用ReLU作为非线性激活函数
  • 数据扩增
  • 使用最大池化
  • 使用dropout避免过拟合
  • batch
  • 使用GPU减少训练时间

从直觉来说,最大池化获得的是每个2x2位置的最具代表性特征,最后输出整个图像各个区域的典型特征,这样做可以在避免重复的同时保留足够的特征用于分类,所以池化可以避免过拟合。

图像分类的样本都是将分类对象置于中心的,虽然池化考虑到了特征的相对空间关系,但是物体有太大的平移或旋转时分类效果难以保证,所以有时候训练时需要做数据扩增。在物体检测和分割等任务中还需要设计特殊的网络结构来探测不同位置的感兴趣对象。

从AlexNet之后,深度学习就变成了一种叫做"解决任务的更大规模的神经网络"的技术。^_~

4 VGG19

VGG是2014年的ImageNet分类的亚军,物体检测冠军,使用了更小的卷积核(3x3),并且连续多层组合使用。

贡献

  • 更深
  • 连续多个3x3的卷积层

VGG论文的一个主要结论就是深度的增加有益于精度的提升,这个结论堪称经典。

连续3个3x3的卷积层(步长1)能获得和一个7x7的卷积层等效的感知域(receptive fields),而深度的增加在增加网络的非线性时减少了参数(3*3^2 vs 7^2)。从VGG之后,大家都倾向于使用连续多个更小的卷积层,甚至分解卷积核(Depthwise Convolution)。

但是,VGG简单的堆叠卷积层,而且卷积核太深(最多达512),特征太多,导致其参数猛增,搜索空间太大,正则化困难,因而其精度也并不是最高的,在推理时也相当耗时,和GoogLeNet相比性价比十分之低。

5 Network-in-network(NiN)

NiN发表于13年底,它洞察到使用1x1卷积可以为卷积层的特征提供更强的组合能力,一个简单但是真的超赞的想法。

1x1卷积用于在空间上对卷积之后的特征进行组合,高效的利用了少量参数,将其共享到该特征的所有像素,最后得到更加power的特征。

6 Inception V1-V3

GoogLeNet是2014年的ImageNet图像分类的冠军,比VGG19多3层,而其参数却只有AlexNet的1/12,同时获得了当时state-of-the-art的结果。

贡献

  • Inception模块

    Inception模块使用1x1的卷积(bottleneck layer)减少了特征数量,同时,分类器部分只保留了必要的一个全连接层,极大的降低了运算数量。Inception模块是GoogLeNet以更深的网络和更高的计算效率取得更好的结果的主要原因。

    此后,Inception模块不断改进,产生了Inception-2和Inception-3。

  • Inception-v2

    Inception-2使用了Batch Normalization。

  • Inception-v3

    Inception-3有两方面改进,一是像VGG一样,使用了连续的3x3卷积核代替更大的卷积核;另一方面进一步使用了Depthwise Convolution分解卷积。

时间: 2024-11-09 01:55:35

典型卷积神经网络架构的相关文章

CNN(卷积神经网络)

作者:机器之心链接:https://www.zhihu.com/question/52668301/answer/131573702来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. Part 1:图像识别任务 卷积神经网络,听起来像是计算机科学.生物学和数学的诡异组合,但它们已经成为计算机视觉领域中最具影响力的革新的一部分.神经网络在 2012 年崭露头角,Alex Krizhevsky 凭借它们赢得了那一年的 ImageNet 挑战赛(大体上相当于计算机视觉的年度

卷积神经网络(CNN)新手指南 1

http://blog.csdn.net/real_myth/article/details/52273930 卷积神经网络(CNN)新手指南 2016-07-29 18:22 Blake 1条评论 卷积神经网络(Convolutional Neural Network,CNN)新手指南 引言 卷积神经网络:听起来像是生物与数学还有少量计算机科学的奇怪结合,但是这些网络在计算机视觉领域已经造就了一些最有影响力的创新.2012年神经网络开始崭露头角,那一年Alex Krizhevskyj在Imag

论文学习-系统评估卷积神经网络各项超参数设计的影响-Systematic evaluation of CNN advances on the ImageNet

写在前面 论文状态:Published in CVIU Volume 161 Issue C, August 2017 论文地址:https://arxiv.org/abs/1606.02228 github地址:https://github.com/ducha-aiki/caffenet-benchmark 在这篇文章中,作者在ImageNet上做了大量实验,对比卷积神经网络架构中各项超参数选择的影响,对如何优化网络性能很有启发意义,对比实验包括激活函数(sigmoid.ReLU.ELU.ma

针对回归训练卷积神经网络

针对回归训练卷积神经网络 此示例使用: Image Processing Toolbox Deep Learning Toolbox Statistics and Machine Learning Toolbox Try it in MATLAB 此示例说明如何使用卷积神经网络拟合回归模型来预测手写数字的旋转角度. 卷积神经网络(CNN 或 ConvNet)是深度学习的基本工具,尤其适用于分析图像数据.例如,您可以使用 CNN 对图像进行分类.要预测连续数据(例如角度和距离),可以在网络末尾包含

掌握卷积神经网络,从一个简单项目开始

卷积神经网络可以算是深度神经网络中很流行的网络了.本文从基础入手,介绍了卷积网络的基本原理以及相关的其它技术,并利用卷积网络做了一个简单项目作为示例参考.想入手 CNN 的朋友不可错过~首先,我们先看看下面这张照片: 图源:Pix2PixHD这不是一张真实的照片,你可以新建一个窗口来打开它,放大看看,可以看到马赛克.实际上,这张照片是由 AI 生成的,是不是看起来很真实?这项技术就是卷积神经网络.它是深度神经网络的一个分支,处理图像的效果格外好. 图源:ImageNet上图是几年来赢得 Imag

卷积神经网络之原理详解

本文来源1:http://blog.csdn.net/zouxy09/article/details/9993371 本文来源2:http://blog.csdn.net/qiaofangjie/article/details/16826849 卷积神经网络是人工神经网络的一种,已成为当前语音分析和图像识别领域的研究热点.它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量.该优点在网络的输入是多维图像时表现的更为明显,使图像可以直接作为网络的输入,避免了传统识

【转】Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现

原作者:zouxy09 原文链接:http://blog.csdn.net/zouxy09/article/details/9993371 Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 [email protected] http://blog.csdn.net/zouxy09          自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己

卷积神经网络(CNN)基础介绍

本文是对卷积神经网络的基础进行介绍,主要内容包含卷积神经网络概念.卷积神经网络结构.卷积神经网络求解.卷积神经网络LeNet-5结构分析.卷积神经网络注意事项. 一.卷积神经网络概念 上世纪60年代.Hubel等人通过对猫视觉皮层细胞的研究,提出了感受野这个概念.到80年代.Fukushima在感受野概念的基础之上提出了神经认知机的概念,能够看作是卷积神经网络的第一个实现网络,神经认知机将一个视觉模式分解成很多子模式(特征),然后进入分层递阶式相连的特征平面进行处理,它试图将视觉系统模型化,使其

Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现(转)

Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 [email protected] http://blog.csdn.net/zouxy09          自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不