INCEPTIONV1----1*1卷积降维

使用5x5的卷积核仍然会带来巨大的计算量。 为此，文章借鉴NIN，采用1x1卷积核来进行降维。
例如：上一层的输出为100x100x128，经过具有256个输出的5x5卷积层之后(stride=1，pad=2)，输出数据为100x100x256。其中，卷积层的参数为128x5x5x256。假如上一层输出先经过具有32个输出的1x1卷积层，再经过具有256个输出的5x5卷积层，那么最终的输出数据仍为为100x100x256，但卷积参数量已经减少为128x1x1x32 + 32x5x5x256，大约减少了4倍。

原文地址：https://www.cnblogs.com/mimandehuanxue/p/8993873.html

时间： 2024-10-08 16:45:48

INCEPTIONV1----1*1卷积降维的相关文章

记录神经网络中一些小知识点

记录神经网络中一些小知识点 1 Caffe中的blob维度 Caffe中的blob具有4个维度,分别是num,channel,width和height: 其中我们在定义各个网络层时,常用到的一个参数numout,就是指定的channel: 比如说,维度为1*3*5*5的数据输入网络(即每次输入一张5*5大小的3通道图),经过一个stride为2,pad为1,kernel为2,numout为2的卷积层后,维度就变成了1*2*3*3: 假如输入有n个通道,计算时,caffe就会对应产生n个filte

1*1卷积核在GoogleLeNet中的作用

1. 实现跨通道的交互和信息整合 1×1的卷积层(可能)引起人们的重视是在NIN的结构中,论文中林敏师兄的想法是利用MLP代替传统的线性卷积核,从而提高网络的表达能力.文中同时利用了跨通道pooling的角度解释,认为文中提出的MLP其实等价于在传统卷积核后面接cccp层,从而实现多个feature map的线性组合,实现跨通道的信息整合.而cccp层是等价于1×1卷积的,因此细看NIN的caffe实现,就是在每个传统卷积层后面接了两个cccp层(其实就是接了两个1×1的卷积层). 2. 进行卷

Network in Network 2

<Network in Network>论文笔记 1.综述 这篇文章有两个很重要的观点: 1×1卷积的使用 文中提出使用mlpconv网络层替代传统的convolution层.mlp层实际上是卷积加传统的mlp(多层感知器),因为convolution是线性的,而mlp是非线性的,后者能够得到更高的抽象,泛化能力更强.在跨通道(cross channel,cross feature map)情况下,mlpconv等价于卷积层+1×1卷积层,所以此时mlpconv层也叫cccp层(cascade

深度学习计算框架实现

参考与评述 参考书目<Deep Learning>Lan Goodfellow. 经典的深度学习框架是以计算图&梯度下降方法实现对前馈网络的有监督学习. 这里复现了前馈计算图的梯度计算实现. 一.前馈计算图实现 1. 前向与梯度计算 结果数组 (保存输入节点与计算节点的输出值,能够反映节点在计算方向的拓扑排序) 梯度数组 (保存输入节点与计算节点的梯度,能够反映节点在计算方向的拓扑排序) 连接图 (反映每个节点的父节点) 输出函数集合 (反映每个计算节点如何根据其输入得到输出) 梯度函

CNN 中， 1X1卷积核到底有什么作用

转自https://blog.csdn.net/u014114990/article/details/50767786 从NIN 到Googlenet mrsa net 都是用了这个,为什么呢 发现很多网络使用了1X1卷积核,这能起到什么作用呢?另外我一直觉得,1X1卷积核就是对输入的一个比例缩放,因为1X1卷积核只有一个参数,这个核在输入上滑动,就相当于给输入数据乘以一个系数.不知道我理解的是否正确. 我来说说我的理解,我认为1×1的卷积大概有两个方面的作用吧:1. 实现跨通道的交互和信息整合

1*1卷积核的理解和作用

权值共享基本上有两种方法: 在同一特征图和不同通道特征图都使用共享权值,这样的卷积参数是最少的,例如上一层为30*30*40,当使用3*3*120的卷积核进行卷积时,卷积参数为:3*3*120个.(卷积跟mlp有区别也有联系一个神经元是平面排列,一个是线性排列) 第二种只在同一特征图上使用共享权值,根据上面的例子,则卷积参数为:3*3*40*120. 1×1的卷积大概有两个方面的作用吧:1. 实现跨通道的交互和信息整合2. 进行卷积核通道数的降维和升维 以GoogLeNet的3a模块为例,输入的

语义分割：DeepLab系列总结（v1、v2、v3、v3+）

DeepLabv1 Semantic image segmentation with deep convolutional nets and fully connected CRFs link:https://arxiv.org/pdf/1412.7062v3.pdf 引言 DCNN在像素标记存在两个问题:信号下采用和空间不变性(invariance) 第一个问题是由于DCNN中重复的最大池化和下采样造成分辨率下降,DeepLabv1通过带孔(atrous)算法解决. 第二个问题是分类器获得以对

R-FCN：

和Faster R-CNN相比,R-FCN具有更深的共享卷积网络层,这样可以获得更加抽象的特征 抽象特征的捕获能否通过“sketch/conceptual...” - guided 来进行?想法还是说把逻辑推理和深度学习暴力计算相结合,各自发挥各自的优势~ 4. R-FCN网络的设计动机 Faster R-CNN是首个利用CNN来完成proposals预测的,从此之后很多的目标检测网络都开始使用Faster R-CNN的思想.而Faster R-CNN系列的网络都可以分成2个部分:ROI Poo

CNN卷积神经网络新想法

最近一直在看卷积神经网络,想改进改进弄出点新东西来,看了好多论文,写了一篇综述,对深度学习中卷积神经网络有了一些新认识,和大家分享下. 其实卷积神经网络并不是一项新兴的算法,早在上世纪八十年代就已经被提出来,但当时硬件运算能力有限,所以当时只用来识别支票上的手写体数字,并且应用于实际.2006年深度学习的泰斗在<科学>上发表一篇文章,论证了深度结构在特征提取问题上的潜在实力,从而掀起了深度结构研究的浪潮,卷积神经网络作为一种已经存在的.有一定应用经验的深度结构,重新回到人们视线,此时硬件的运算