1x1卷积核作用

1. 实现跨通道的交互和信息整合

对于某个卷积层,无论输入图像有多少个通道,输出图像通道数总是等于卷积核数量!

对多通道图像做1x1卷积,其实就是将输入图像于每个通道乘以卷积系数后加在一起,即相当于把原图像中本来各个独立的通道“联通”在了一起。

2. 进行卷积核通道数的降维和升维

进行降维和升维引起人们重视的(可能)是在GoogleNet里。对于每一个inception模块(如下图),原始模块是左图,右图中是加入了1x1卷积核进行降维的。

虽然左图中的卷积核都比较小,但是当输入和输出的通道数很大时,乘起来也会使得卷积核参数变很大,而右图加入1x1卷积后可以降低输入的通道数,卷积核参数、运算复杂度也就降下来了。

原文地址:https://www.cnblogs.com/pacino12134/p/10351737.html

时间: 2024-10-08 16:45:46

1x1卷积核作用的相关文章

CNN 中, 1X1卷积核到底有什么作用

转自https://blog.csdn.net/u014114990/article/details/50767786 从NIN 到Googlenet mrsa net 都是用了这个,为什么呢 发现很多网络使用了1X1卷积核,这能起到什么作用呢?另外我一直觉得,1X1卷积核就是对输入的一个比例缩放,因为1X1卷积核只有一个参数,这个核在输入上滑动,就相当于给输入数据乘以一个系数.不知道我理解的是否正确. 我来说说我的理解,我认为1×1的卷积大概有两个方面的作用吧:1. 实现跨通道的交互和信息整合

计算机视觉概要和卷积神经网络基础概念

本文主要介绍了CV概要和CNN基础概念. 1 计算机视觉(computer vision)简介 计算机视觉旨在识别和理解图像/视频中的内容.其诞生于1966年MIT AI Group的"the summer vision project".当时,人工智能其他分支的研究已经有一些初步成果.由于人类可以很轻易地进行视觉认知,MIT的教授们希望通过一个暑期项目解决计算机视觉问题.当然,计算机视觉没有被一个暑期内解决,但计算机视觉经过50余年发展已成为一个十分活跃的研究领域.如今,互联网上超过

1×1卷积核理解

1*1的卷积核在NIN.Googlenet中被广泛使用,但其到底有什么作用也是一直困扰的问题,这里总结和归纳下在网上查到的自认为很合理的一些答案,包括1)跨通道的特征整合2)特征通道的升维和降维  3)减少卷积核参数(简化模型) 1 - 引入 在我学习吴恩达老师Deeplearning.ai深度学习课程的时候,老师在第四讲卷积神经网络第二周深度卷积网络:实例探究的2.5节网络中的网络以及1×1卷积对1×1卷积做了较为详细且通俗易懂的解释.现自己做一下记录. 2 - 1×1卷积理解 假设当前输入张

记录神经网络中一些小知识点

记录神经网络中一些小知识点 1 Caffe中的blob维度 Caffe中的blob具有4个维度,分别是num,channel,width和height: 其中我们在定义各个网络层时,常用到的一个参数numout,就是指定的channel: 比如说,维度为1*3*5*5的数据输入网络(即每次输入一张5*5大小的3通道图),经过一个stride为2,pad为1,kernel为2,numout为2的卷积层后,维度就变成了1*2*3*3: 假如输入有n个通道,计算时,caffe就会对应产生n个filte

PVANET----Deep but Lightweight Neural Networks for Real-time Object Detection论文记录

arxiv上放出的物体检测的文章,在Pascal voc数据集上排第二.源码也已放出(https://github.com/sanghoon/pva-faster-rcnn),又可以慢慢把玩了.这篇文章遵循faster-rcnn"CNN feature extraction + region proposal + RoI classification"的pipeline,重新设计了feature extraction的网络结构."The devil is in details

解读(GoogLeNet)Going deeper with convolutions

(GoogLeNet)Going deeper with convolutions Inception结构 目前最直接提升DNN效果的方法是increasing their size,这里的size包括depth和width两方面.在有足够的labeled training data 时这种方法是最简单以及稳妥的方法来获得一个高质量的模型.但是往往实际中大的网络会有更多的参数,当training data数量很少时,很容易出现overfitting,并且大的网络需要的计算资源也是更多.这是需要将

Machine Learning 资料

Awesome系列 Awesome Machine Learning Awesome Deep Learning Awesome TensorFlow Awesome TensorFlow Implementations Awesome Torch Awesome Computer Vision Awesome Deep Vision Awesome RNN Awesome NLP Awesome AI Awesome Deep Learning Papers Awesome 2vec Deep

Network in Network 2

<Network in Network>论文笔记 1.综述 这篇文章有两个很重要的观点: 1×1卷积的使用 文中提出使用mlpconv网络层替代传统的convolution层.mlp层实际上是卷积加传统的mlp(多层感知器),因为convolution是线性的,而mlp是非线性的,后者能够得到更高的抽象,泛化能力更强.在跨通道(cross channel,cross feature map)情况下,mlpconv等价于卷积层+1×1卷积层,所以此时mlpconv层也叫cccp层(cascade

系统学习深度学习--GoogLeNetV1,V2,V3 【Incepetion V1-V3】

GoogLeNet Incepetion V1 这是GoogLeNet的最早版本,出现在2014年的<Going deeper with convolutions>.之所以名为"GoogLeNet"而非"GoogleNet",文章说是为了向早期的LeNet致敬. Motivation 深度学习以及神经网络快速发展,人们不再只关注更给力的硬件.更大的数据集.更大的模型,而是更在意新的idea.新的算法以及模型的改进. 一般来说,提升网络性能最直接的办法就是