1x1卷积

你可能会想为什么有人会用1x1卷积，因为它关注的不是一块像素，而是一个像素，图1

图1

我们看看传统的卷积，它基本上是运行在一个小块图像上的小分类器，但仅仅是个线性分类器。图2

图2

如果你在中间加一个1x1卷积，你就用运行在一块像素上的神经网络代替了线性分类器。

在卷积操作中散步一些1x1卷积是一种使得模型变得更深的低耗高效的方法，并且会有更多的参数。图3

图3

这样做没有改变神经网络的结构，他们非常简单，因为如果你看到他们的数学公式，他们根本不是卷积。

只是矩阵相乘并且有较少的参数。

原文地址：https://www.cnblogs.com/fuhang/p/9264942.html

时间： 2024-10-08 16:45:38

1x1卷积的相关文章

（原）CNN中的卷积、1x1卷积及在pytorch中的验证

转载请注明处处: http://www.cnblogs.com/darkknightzh/p/9017854.html 参考网址: https://pytorch.org/docs/stable/nn.html?highlight=conv2d#torch.nn.Conv2d https://www.cnblogs.com/chuantingSDU/p/8120065.html https://blog.csdn.net/chaolei3/article/details/79374563 1x1

典型卷积神经网络架构

参考资料 0 Figures First 1 LeNet5 贡献 2 Dan Ciresan Net 3 AlexNet 贡献 4 VGG19 贡献 5 Network-in-network(NiN) 6 Inception V1-V3 贡献参考资料 Neural Network Architectures CS231N Spring 2017 Lecture9 0 Figures First CNN架构演变搬运一张图,总结的很好. Top1 vs operations, size ∝ pa

1×1卷积的用途（Network in Network）

1×1卷积,又称为Network in Network 如果卷积的输出输入都只是一个平面,那么1x1卷积核并没有什么意义,它是完全不考虑像素与周边其他像素关系. 但卷积的输出输入是长方体,所以1x1卷积实际上是对每个像素点,在不同的channels上进行线性组合(信息整合),且保留了图片的原有平面结构,调控depth,从而完成升维或降维的功能. 如下图所示,如果选择2个filters的1x1卷积层,那么数据就从原本的depth 3 降到了2.若用4个filters,则起到了升维的作用. 1. 相

深度学习——卷积神经网络的经典网络（LeNet-5、AlexNet、ZFNet、VGG-16、GoogLeNet、ResNet）

一.CNN卷积神经网络的经典网络综述下面图片参照博客:http://blog.csdn.net/cyh_24/article/details/51440344 二.LeNet-5网络输入尺寸:32*32 卷积层:2个降采样层(池化层):2个全连接层:2个输出层:1个.10个类别(数字0-9的概率) LeNet-5网络是针对灰度图进行训练的,输入图像大小为32*32*1,不包含输入层的情况下共有7层,每层都包含可训练参数(连接权重).注:每个层有多个Feature Map,每个Featu

深度学习——深卷积网络：实例探究

1. 三个经典网络红色部分不重要,现在已经不再使用这篇文章较早,比如现在常用max,而当时用avg,当时也没有softmax 这篇文章让CV开始重视DL的使用,相对于LeNet-5,它的优点有两个:更大,使用ReLU 以作者名字命名 same表示使用same过滤器,也就是输入和输出维度一致 16表示总共有16个CONV和FC,这篇文章指出了信道数和维度变化的规律性(随网络增加/减少),缺点是参数实在太多了阅读论文顺序:2-3-1 2. 残差网络残差网络由残差块组成,它使得网络可以变得更深

INCEPTIONV1----1*1卷积降维

使用5x5的卷积核仍然会带来巨大的计算量. 为此,文章借鉴NIN,采用1x1卷积核来进行降维.例如:上一层的输出为100x100x128,经过具有256个输出的5x5卷积层之后(stride=1,pad=2),输出数据为100x100x256.其中,卷积层的参数为128x5x5x256.假如上一层输出先经过具有32个输出的1x1卷积层,再经过具有256个输出的5x5卷积层,那么最终的输出数据仍为为100x100x256,但卷积参数量已经减少为128x1x1x32 + 32x5x5x256,大约减

按时间轴简述九大卷积神经网络

timeline 1998, Yann LeCun 的 LeNet5 图像特征分布在整个图像上在具有很少参数的多个位置上提取类似特征时,具有可学习的参数的卷积是个比较有效的方法在没有应用GPU的时候,能够保存参数和计算就成了一个关键优势 LeNet5并没有把每个像素都作为大型多层神经网络的一个输入,因为图像是高度空间相关的,如果用了这种方法,就不能很好地利用相关性 LeNet5 的主要特征: CNN 主要用这3层的序列: convolution, pooling, non-linearity

论文学习-系统评估卷积神经网络各项超参数设计的影响-Systematic evaluation of CNN advances on the ImageNet

写在前面论文状态:Published in CVIU Volume 161 Issue C, August 2017 论文地址:https://arxiv.org/abs/1606.02228 github地址:https://github.com/ducha-aiki/caffenet-benchmark 在这篇文章中,作者在ImageNet上做了大量实验,对比卷积神经网络架构中各项超参数选择的影响,对如何优化网络性能很有启发意义,对比实验包括激活函数(sigmoid.ReLU.ELU.ma

1x1卷积核作用

1. 实现跨通道的交互和信息整合对于某个卷积层,无论输入图像有多少个通道,输出图像通道数总是等于卷积核数量! 对多通道图像做1x1卷积,其实就是将输入图像于每个通道乘以卷积系数后加在一起,即相当于把原图像中本来各个独立的通道"联通"在了一起. 2. 进行卷积核通道数的降维和升维进行降维和升维引起人们重视的(可能)是在GoogleNet里.对于每一个inception模块(如下图),原始模块是左图,右图中是加入了1x1卷积核进行降维的. 虽然左图中的卷积核都比较小,但是当输入和输出的