按时间轴简述九大卷积神经网络

timeline


1998, Yann LeCun 的 LeNet5

图像特征分布在整个图像上
在具有很少参数的多个位置上提取类似特征时,具有可学习的参数的卷积是个比较有效的方法
在没有应用GPU的时候,能够保存参数和计算就成了一个关键优势
LeNet5并没有把每个像素都作为大型多层神经网络的一个输入,因为图像是高度空间相关的,如果用了这种方法,就不能很好地利用相关性

LeNet5 的主要特征:

  • CNN 主要用这3层的序列: convolution, pooling, non-linearity
  • 用卷积提取空间特征
  • 由空间平均得到子样本
  • 用 tanh 或 sigmoid 得到非线性
  • 用 multi-layer neural network(MLP)作为最终分类器
  • 层层之间用稀疏的连接矩阵,以避免大的计算成本

LeNet5


2010, Dan Claudiu Ciresan and Jurgen Schmidhuber 的 Dan Ciresan Net

是比较早的GPU神经网络之一,在NVIDIA GTX 280图形处理器上实现了9层神经网络的前向后向计算。


2012,Alex Krizhevsky 的 AlexNet

是LeNet的一个更深和更广的版本,可以用来学习更复杂的对象

AlexNet 的主要特征:

  • 用rectified linear units(ReLU)得到非线性
  • 使用辍 dropout 技巧在训练期间有选择性地忽略单个神经元,来减缓模型的过拟合
  • 重叠最大池,避免平均池的平均效果
  • 使用GPU NVIDIA GTX 580可以减少训练时间,这比用CPU处理快了10倍,所以可以被用于更大的数据集和图像上

AlexNet


2013年12月,Yann LeCun的纽约大学实验室的 OverFeat

是AlexNet的衍生,提出了 learning bounding boxes


2015,牛津的 VGG

率先在每个卷积层中使用更小的 3×3 filters,并将它们组合成卷积序列
虽然小,但是多个3×3卷积序列可以模拟更大的接收场的效果
这个想法也在最近的Inception和ResNet网络中有所应用


2014,Min Lin, Qiang Chen, Shuicheng Yan 的 NiN

  • 它的思想很简单但是很有效,使用1x1卷积给一个卷积层的特征提供了更多的组合性
  • 每个卷积之后使用空间MLP层,以便在另一层之前更好地组合特征,而没有使用原始像素作为下一层的输入
  • 可以有效地使用非常少的参数,在这些特征的所有像素之间共享

Network-in-network


2014,Google Christian Szegedy 的 GoogLeNet and Inception

  • 在昂贵的并行块之前,使用1×1卷积块(NiN)来减少特征数量,这通常被称为“瓶颈”,可以减少深层神经网络的计算负担
  • 它用一个没有 inception modules 的 stem 作为初始层
  • 用类似于NiN的平均池加上softmax分类器

Inception


2015年2月,Christian 团队的 Inception V2,2015年12月,Inception V3

  • 在每个池之前,增加 feature maps,构建网络时,仔细平衡深度和宽度,使流入网络的信息最大化
  • 当深度增加时,特征的数量或层的宽度也有所增加
  • 在下一层之前,增加每一层的宽度来增多特征的组合性
  • 尽量只使用3x3卷积

Inception V3


2015,Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun 的 ResNet

这个网络绕过了2层,可以被看作一个小的分类器,或者一个NiN
这也是第一次训练了大于100甚至1000层的网络
在每一层,通过使用更小output的1x1卷积来减少特征的数量,然后经过一个3x3 层,接着又是一个1x1卷积,这个方法可以保持少计算量,同时提供丰富的特征组合

ResNet


2016,François Chollet 的 Xception

这个网络和 ResNet and Inception V4 一样有效,而且用了更简单优雅的结构
它有36个卷积阶段,和ResNet-34相似,不过模型和代码和ResNet一样简单,并且比Inception V4更易理解
这个网络在 Torch7/Keras / TF 都已经可以应用了

Xception

原文地址:https://www.cnblogs.com/codehome/p/9729735.html

时间: 2024-10-08 16:45:46

按时间轴简述九大卷积神经网络的相关文章

TensorFlow(九):卷积神经网络实现手写数字识别以及可视化

上代码: import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets('MNIST_data',one_hot=True) #每个批次的大小 batch_size = 100 #计算一共有多少个批次 n_batch = mnist.train.num_examples // batch_size #参数概要 def vari

深度学习卷积神经网络大事件一览

深度学习(DeepLearning)尤其是卷积神经网络(CNN)作为近几年来模式识别中的研究重点,受到人们越来越多的关注,相关的参考文献也是层出不穷,连续几年都占据了CVPR的半壁江山,但是万变不离其宗,那些在深度学习发展过程中起到至关重要的推动作用的经典文献依然值得回味,这里依据时间线索,对CNN发展过程中出现的一些经典文献稍作总结,方便大家在研究CNN时追本溯源,在汲取最新成果的同时不忘经典. 首先这里给出CNN在发展过程中的一些具有里程碑意义的事件和文献: 对于CNN最早可以追溯到1986

卷积神经网络大总结

#Deep Learning回顾#之2006年的Science Paper 大家都清楚神经网络在上个世纪七八十年代是着实火过一回的,尤其是后向传播BP算法出来之后,但90年代后被SVM之类抢了风头,再后来大家更熟悉的是SVM.AdaBoost.随机森林.GBDT.LR.FTRL这些概念.究其原因,主要是神经网络很难解决训练的问题,比如梯度消失.当时的神经网络研究进入一个低潮期,不过Hinton老人家坚持下来了. 功夫不负有心人,2006年Hinton和学生发表了利用RBM编码的深层神经网络的Sc

tensorflow框架学习 (九)—— CNN卷积神经网络的实现

一.卷积神经网络 1.关于卷积神经网络的知识,这里推荐一个博客,可以通过几篇博文来了解卷积神经网络:https://www.cnblogs.com/pinard/category/894694.html 2.关于张量经过卷积与池化后数据各维度大小的变化: 设原图片数据维度为$batch*width*height*channel$:$batch$为图片张数,$width$为图宽,$height$为图高,$channel$为图通道数. 卷积: 设卷积核为$padding*cwidth*cheight

【html】【19】高级篇--大事件时间轴

下载: http://sc.chinaz.com/jiaoben/131112181390.htm 其它: http://sc.chinaz.com/tag_jiaoben/shijianzhou.html 效果: html 代码: 1 <!DOCTYPE html> 2 <html> 3 <head> 4 <meta http-equiv="Content-Type" content="text/html; charset=utf-

神经网络以及卷积神经网络(CNN)初始

1 人工神经网络 1.1 神经元 神经网络由大量的神经元相互连接而成.每个神经元接受线性组合的输入后,最开始只是简单的线性加权,后来给每个神经元加上了非线性的激活函数,从而进行非线性变换后输出.每两个神经元之间的连接代表加权值,称之为权重(weight).不同的权重和激活函数,则会导致神经网络不同的输出. 举个手写识别的例子,给定一个未知数字,让神经网络识别是什么数字.此时的神经网络的输入由一组被输入图像的像素所激活的输入神经元所定义.在通过非线性激活函数进行非线性变换后,神经元被激活然后被传递

深度学习之 TensorFlow(四):卷积神经网络

基础概念: 卷积神经网络(CNN):属于人工神经网络的一种,它的权值共享的网络结构显著降低了模型的复杂度,减少了权值的数量.卷积神经网络不像传统的识别算法一样,需要对数据进行特征提取和数据重建,可以直接将图片作为网络的输入,自动提取特征,并且对图形的变形等具有高度不变形.在语音分析和图像识别领域有重要用途. 卷积:卷积是泛函分析中的一种积分变换的数学方法,通过两个函数 f 和 g 生成第三个函数的一种数学算子,表征函数 f 与 g 经过翻转和平移的重叠部分的面积.设函数  是定义在  上的可测函

卷积神经网络(CNN)在语音识别中的应用

卷积神经网络(CNN)在语音识别中的应用 作者:侯艺馨 前言 总结目前语音识别的发展现状,dnn.rnn/lstm和cnn算是语音识别中几个比较主流的方向.2012年,微软邓力和俞栋老师将前馈神经网络FFDNN(Feed Forward Deep Neural Network)引入到声学模型建模中,将FFDNN的输出层概率用于替换之前GMM-HMM中使用GMM计算的输出概率,引领了DNN-HMM混合系统的风潮.长短时记忆网络(LSTM,LongShort Term Memory)可以说是目前语音

卷积神经网络CNN在自然语言处理中的应用

卷积神经网络(Convolution Neural Network, CNN)在数字图像处理领域取得了巨大的成功,从而掀起了深度学习在自然语言处理领域(Natural Language Processing, NLP)的狂潮.2015年以来,有关深度学习在NLP领域的论文层出不穷.尽管其中必定有很多附庸风雅的水文,但是也存在很多经典的应用型文章.笔者在2016年也发表过一篇关于CNN在文本分类方面的论文,今天写这篇博客的目的,是希望能对CNN的结构做一个比较清晰的阐述,同时就目前的研究现状做一个