深度卷积网络-Inception系列

目录

  • 1. Inception V1

    • 1.1 Inception module
  • 2. Inception V2
  • 3. Inception V3
  • 4. Inception V4, Inception-ResNet
  • 5. Xception(extreme inception)

? 主要列举的网络结构有:

1. Inception V1

1.1 Inception module

  • 利用Inception module叠加的形式构造网络;可以近似一个稀疏结构;
  • 不同size的卷积核能够增强网络的适应力;
  • 即增加了网络的深度,同时增加了网络对尺度的适应性;
  • 随着更多的Inception module的叠加,同样也会带来计算成本的增加;

  • Network-in-Network在卷积中的表示形式使:\(1\times 1\)的卷积;
  • \(1\times 1\)的卷积能够有效地的降维,在其后使用激活函数,能够提高网络的表达能力;
  • 有降维、减少参数量的作用;
  • 提高了内部计算资源的利用率;

整个网络结构:

  • 中间增加了两个loss,保证更好的收敛,有正则化的作用;
  • 在最后一个全链接层前,使用Global average pooling;

2. Inception V2

  • 使用Batch Normalization层,即对min-batch内部进行标准化处理,使其输出规范到标准正态分布;
  • 利用两个\(3\times 3\)的卷积层代替一个\(5\times 5\)的卷积层,降低了参数数量;

3. Inception V3

  • 卷积分解:将\(7\times 7\)的卷积分解成\(1\times 7, 7\times 1\)的两个卷积,\(3\times 3\)的卷积也类似分解;可以用于加速计算,同时可以加深网络,也增加了网络的非线性;
  • 在整个网络结构中,有三种卷积分解模型,见下图;
  • 输入从\(224 \times 224\)变成了\(299 \times 299\);

4. Inception V4, Inception-ResNet

  • 将Inception module与Residual Connection结合使用,加速训练,精度更高;

5. Xception(extreme inception)

原文地址:https://www.cnblogs.com/chenzhen0530/p/10689278.html

时间: 2024-10-09 01:47:22

深度卷积网络-Inception系列的相关文章

深度卷积网络CNN与图像语义分割

转载请注明出处: http://xiahouzuoxin.github.io/notes/ 级别1:DL快速上手 级别2:从Caffe着手实践 级别3:读paper,网络Train起来 级别3:Demo跑起来 读一些源码玩玩 熟悉Caffe接口,写Demo这是硬功夫 分析各层Layer输出特征 级别4:何不自己搭个CNN玩玩 级别5:加速吧,GPU编程 关于语义分割的一些其它工作 说好的要笔耕不缀,这开始一边实习一边找工作,还摊上了自己的一点私事困扰,这几个月的东西都没来得及总结一下.这就来记录

深度卷积网络

深度卷积网络 涉及问题: 1.每个图如何卷积: (1)一个图如何变成几个? (2)卷积核如何选择? 2.节点之间如何连接? 3.S2-C3如何进行分配? 4.16-120全连接如何连接? 5.最后output输出什么形式? ①各个层解释: 我们先要明确一点:每个层有多个Feature Map,每个Feature Map通过一种卷积滤波器提取输入的一种特征,然后每个Feature Map有多个神经元. C1层是一个卷积层(为什么是卷积?卷积运算一个重要的特点就是,通过卷积运算,可以使原信号特征增强

卷积神经网络(二)深度卷积网络:实例探究

1.经典网络: (1)LeNet-5:识别手写数字 (2)AlexNet: (3)VGG-16: 2.Residual networks(ResNets 残差网络): (1)Residual block(残差块): 多个残差块构成一个残差网络: (2)残差网络的优势: 理论上,随着神经网络的深入,训练误差会越来越小,但实际上,层数越多训练的难度越大,因此层数过多误差也会增大. 但残差网络适用于深层的神经网络,误差随着层数的增多而减小. (3)为什么残差网络性能更好? 3.网络中的网络和1*1卷积

【Python图像特征的音乐序列生成】深度卷积网络,以及网络核心

这个项目主要涉及到两个网络,其中卷积神经网络用来提取图片表达的情绪,提取出一个二维向量. 网络结构如图: 词向量采用预训练的glove模型,d=50,其他信息包括了图片的"空旷程度".亮度.对比度等信息,用来更好地描述图片特征. 对于图中的卷积神经网络,需要讲解的地方是:卷积核是一个一维卷积核,每一层卷积层之后都连接了池化层,做的是最大值池化,每一层之间有固定的dropout层,最后输出的向量与我们预先设定的label进行计算,损失函数定义为 \[J(\theta)=-\sum_iy'

深度卷积网络原理—非线性激活的必要性

假设有如上图所示的神经网络实例图 网络描述如下: 1)有2个输入,即图中的x1.x2 2)有3个神经元,即途中的b1.b2.b3 3)共2层网络.第1层的神经元是b1.b2,第2层的神经元是b3.可将中间层称为隐层.例如途中的b1.b2就属于隐层 4)有6个权重(w11到w23).最终输出为OUT. 神经元b1的输出是: x1w11+x2w21+b1 神经元b2的输出是:x1w12+x2w22+b2 如果没有非线性激活,那么最终的输出OUT的计算公式是: OUT=(x1w11 + x2w21 +

深度学习——深卷积网络:实例探究

1. 三个经典网络 红色部分不重要,现在已经不再使用 这篇文章较早,比如现在常用max,而当时用avg,当时也没有softmax 这篇文章让CV开始重视DL的使用,相对于LeNet-5,它的优点有两个:更大,使用ReLU 以作者名字命名 same表示使用same过滤器,也就是输入和输出维度一致 16表示总共有16个CONV和FC,这篇文章指出了信道数和维度变化的规律性(随网络增加/减少),缺点是参数实在太多了 阅读论文顺序:2-3-1 2. 残差网络 残差网络由残差块组成,它使得网络可以变得更深

CNN卷积神经网络_深度残差网络 ResNet——解决神经网络过深反而引起误差增加的根本问题

from:https://blog.csdn.net/diamonjoy_zone/article/details/70904212 环境:Win8.1 TensorFlow1.0.1 软件:Anaconda3 (集成Python3及开发环境) TensorFlow安装:pip install tensorflow (CPU版) pip install tensorflow-gpu (GPU版) TFLearn安装:pip install tflearn 参考: Deep Residual Le

基于图卷积网络的图深度学习

基于图卷积网络的图深度学习 先简单回顾一下,深度学习到底干成功了哪些事情! 深度学习近些年在语音识别,图片识别,自然语音处理等领域可谓是屡建奇功.ImageNet:是一个计算机视觉系统识别项目, 是目前世界上图像识别最大的数据库,并且被业界熟知. 我们先回顾一下,没有大数据支撑的欧式深度学习技术.对于一个字母"Z"的识别,我们通常是建立一个2D网格(点阵),如果将其中的点连接起来,定义这样的连接方式所形成的就是"Z".然后是用其他字母来测试,这个模型的正确性. 传统

Dual Path Networks(DPN)——一种结合了ResNet和DenseNet优势的新型卷积网络结构。深度残差网络通过残差旁支通路再利用特征,但残差通道不善于探索新特征。密集连接网络通过密集连接通路探索新特征,但有高冗余度。

如何评价Dual Path Networks(DPN)? 论文链接:https://arxiv.org/pdf/1707.01629v1.pdf在ImagNet-1k数据集上,浅DPN超过了最好的ResNeXt-101(64×4d),具有26%更小的模型尺寸,25%的计算成本和8%的更低的内存消耗 5 个回答 xiaozhi CV.ML.DL 1.针对视觉识别任务的"网络工程"一直是研究的重点,其重在设计更为高效的网络拓扑结构,一方面考虑更好的特征表示学习,另一方面尽可能减少计算复杂度