Xception网络结构理解

Xception网络是由inception结构加上depthwise separable convlution,再加上残差网络结构改进而来/

常规卷积是直接通过一个卷积核把空间信息和通道信息直接提取出来,结合了spatial dimensions和channels dimensions;xception这种是分开做的。

它最初的想法是从Incetpion来的,总体思想是把corss-channel correlations和spatial correlations充分解耦合;

将Inception modul拆分成一系列操作,独立处理spatial-correlations和cross-channel correlations,网络处理起来更加简单有效

步骤是:

  • 首先通过‘1x1’卷积,将输入数据拆分cross-channel相关性,拆分成3或者4组独立的空间
  • 然后,通过‘3x3’或者‘5x5’卷积核映射到更小的空间上去

inception结构到xception的演变:

        

从1到2是一个简化过程,从2到3是把1*1的卷积核拼接起来,使得经过1*1的卷积之后可以将输入数据的channel维度上进行拆解; 最后一种是极端情况,3x3卷积在1x1卷积后的每一个通道上运行。

              

这种思想与depthwise separable convolution基本一样,只是再空间解耦合与通道解耦合的顺序不同,论文作者谈到这种模块再整体网络结构中都是相连的,顺序并没有太大影响。

Xception的网络结构:

结合残差结构,separable conv模块的相连

原文地址:https://www.cnblogs.com/ywheunji/p/10506747.html

时间: 2024-10-12 04:39:08

Xception网络结构理解的相关文章

voc-fcn-alexnet网络结构理解

一.写在前面 fcn是首次使用cnn来实现语义分割的,论文地址:fully convolutional networks for semantic segmentation 实现代码地址:https://github.com/shelhamer/fcn.berkeleyvision.org 全卷积神经网络主要使用了三种技术: 1. 卷积化(Convolutional) 2. 上采样(Upsample) 3. 跳跃结构(Skip Layer) 为了便于理解,我拿最简单的结构voc-fcn-alex

深度神经网络结构以及Pre-Training的理解

深度神经网络结构以及Pre-Training的理解 Logistic回归.传统多层神经网络 1.1 线性回归.线性神经网络.Logistic/Softmax回归 线性回归是用于数据拟合的常规手段,其任务是优化目标函数:h(θ)=θ+θ1x1+θ2x2+....θnxn 线性回归的求解法通常为两种: ①解优化多元一次方程(矩阵)的传统方法,在数值分析里通常被称作”最小二乘法",公式θ=(XTX)−1XTY ②迭代法:有一阶导数(梯度下降)优化法.二阶导数(牛顿法). 方程解法局限性较大,通常只用来

【机器学习】深入理解人工神经网络结构

一个简单的神经网络结构: 如图中如果 x1 x2 ∈{0,1} y1 = x1 && x2 那么我们的输出函数hΘx = g (-30 + 20x1+20x2) 我们知道 g(x)的图像是 x1 x2 hΘ(x) 0 0 g(-30)≈0 0 1 g(-10)≈0 1 0 g(-10)≈0 1 1 g(10)≈1 所以我们有hΘ(x) ≈x1 & x2 这就是一个AND函数,同理,我们可以写一个OR函数的模型: 我们有hΘ(x) ≈x1 | x2 我们可以利用这些类似的神经元足额和

深度学习方法(十一):卷积神经网络结构变化——Google Inception V1-V4,Xception(depthwise convolution)

技术交流QQ群:433250724,欢迎对算法.机器学习技术感兴趣的同学加入. 上一篇讲了深度学习方法(十):卷积神经网络结构变化--Maxout Networks,Network In Network,Global Average Pooling,本篇讲一讲Google的Inception系列net,以及还是Google的Xception.(扯一下,Google的Researcher们还是给了很多很棒的idea的,希望读者朋友和我自己在了解paper之余,可以提出自己的想法,并实现.) 如果想

1、VGG16 2、VGG19 3、ResNet50 4、Inception V3 5、Xception介绍——迁移学习

ResNet, AlexNet, VGG, Inception: 理解各种各样的CNN架构 本文翻译自ResNet, AlexNet, VGG, Inception: Understanding various architectures of Convolutional Networks,原作者保留版权 卷积神经网络在视觉识别任务上的表现令人称奇.好的CNN网络是带有上百万参数和许多隐含层的"庞然怪物".事实上,一个不好的经验规则是:网络越深,效果越好.AlexNet,VGG,Inc

从Inception v1,v2,v3,v4,RexNeXt到Xception再到MobileNets,ShuffleNet,MobileNetV2

from:https://blog.csdn.net/qq_14845119/article/details/73648100 Inception v1的网络,主要提出了Inceptionmodule结构(1*1,3*3,5*5的conv和3*3的pooling组合在一起),最大的亮点就是从NIN(Network in Network)中引入了1*1 conv,结构如下图所示,代表作GoogleNet 假设previous layer的大小为28*28*192,则, a的weights大小,1*

轻量化卷积神经网络模型总结by wilson(shffleNet,moblieNet,squeezeNet+Xception)

一.简介 主要参考博客:纵览轻量化卷积神经网络 https://zhuanlan.zhihu.com/p/32746221 1, SqueezeNet: SqueezeNet对比AlexNet能够减少50倍的网络参数,但是却拥有相近的性能.SqueezeNet主要强调用1x1的卷积核进行feature map个数的压缩,从而达到大量减少网络参数的目的.在构造网络的时候,采用VGG的堆叠思想. 2, moblieNet: MobileNet采用depth-wise convolution的卷积方式

从Image Caption Generation理解深度学习

0. 前面的话 建丁让我写一篇深度学习相关小文章,目标读者是国内的开发者.刚接到这个任务时我是颇为忐忑的,写文章要讲究厚积薄发,如果“水之积也不厚”,“则其负大舟也无力”.因为我自知水平很有限,又不是在学校和科研机构做研究,只不过因为工作和个人的兴趣,对深度学习有一点点粗浅的了解,所以担心写出来的东西不但于人无益,甚至还让人误入歧途.但后来又一想,如果把自己作为一个深度学习的学习者,和对它感兴趣的普通开发者分享一些学习的经历,包括学习过程中遇到的问题,可能也是有一些意义的.毕竟读论文或者听学术大

deep learning 自编码算法详细理解与代码实现(超详细)

在有监督学习中,训练样本是有类别标签的.现在假设我们只有一个没有带类别标签的训练样本集合 ,其中 .自编码神经网络是一种无监督学习算法,它使用了反向传播算法,并让目标值等于输入值,比如 .下图是一个自编码神经网络的示例.通过训练,我们使输出 接近于输入 .当我们为自编码神经网络加入某些限制,比如限定隐藏神经元的数量,我们就可以从输入数据中发现一些有趣的结构.举例来说,假设某个自编码神经网络的输入 是一张 张8*8 图像(共64个像素)的像素灰度值,于是 n=64,其隐藏层 中有25个隐藏神经元.