卷积神经网络-疑点解析

在学习RNN的时候,经常会用CNN来类比,过程中我发现自己对CNN有些地方理解的还不是很清楚。

疑惑1:CNN卷积层的神经元是什么样的?

CNN的卷积层包括各种概念,各种计算,但是我忽然发现,基本没人提到卷积层的神经元,而且在tensorflow编程中,也无需设置卷积层的神经元,这使得我们更加忽略了卷积层的神经元到底是啥样的。

权值共享,那么是不是只要一个神经元就够了呢?

于是我开始思考...

1. 对比全连接的神经元,可以发现,神经元包含一组输入,一组weight,一个函数,一个输出,也就是说一个神经元在每次传输中只有一个输出。

  // 试想,如果一次输出多个值,它又怎么保存这些值呢?显然没办法,所以这是一个重点。

2. 卷积层的输出是feture map,是很多个值,一个神经元肯定不行

3. 那么神经元和卷积核啥关系呢?一个卷积核对应一个神经元?

 仔细思考下,卷积核可以是多通道的,一个通道一个future map,所以不是一个卷积核一个神经元。

综上,卷积层的神经元个数为:

size(future map) * num(future map)

疑惑2:为什么CNN能够权值共享,全连接网络不行

1. 首先,你要理解,权重是什么? 权重就是偏好,权重3就比权重1更受关注,甚至权重-1被讨厌

那么一组权重是什么?我们可以把它称作一个模板,或者叫做一个过滤器,意思是每个位置都有规范。

我们用过滤器来过滤东西时,有孔的位置才会被关注到。

2. 其次,我们理解一句话:横看成岭侧成峰,就是说看一个事物,不同角度看到的样子是不同的,不同的角度就是不同的过滤器,要了解一张图片,就要很多个过滤器。

这就是多个卷积核。

3. 我们用多个过滤器筛到图片不同角度的特征,最后通过多次卷积形成了这些特征的非线性组合,也就代表了图片的特征。

那么全连接为什么不权重共享?

试想,如果不同特征到一个神经元权重相同,那你只要一个特征就行了啊,要那么多干啥;

如果一个特征到每个神经元权重相同,那这些神经元输出的值都一样,要那么多神经元干啥。

原文地址:https://www.cnblogs.com/yanshw/p/10438741.html

时间: 2024-11-04 12:23:52

卷积神经网络-疑点解析的相关文章

卷积神经网络要点解析

参照: [stanford]Convolutional Neural Networks (CNNs / ConvNets) [karpathy]ConvNetJS CIFAR-10 demo [知乎]没有博士学位,照样玩转TensorFlow深度学习 [视频]TensorFlow and deep learning, without a PhD Architecture Overview why ConvNet ? Regular Neural Nets don't scale well to

Deep Learning模型之:CNN卷积神经网络(一)深度解析CNN

http://m.blog.csdn.net/blog/wu010555688/24487301 本文整理了网上几位大牛的博客,详细地讲解了CNN的基础结构与核心思想,欢迎交流. [1]Deep learning简介 [2]Deep Learning训练过程 [3]Deep Learning模型之:CNN卷积神经网络推导和实现 [4]Deep Learning模型之:CNN的反向求导及练习 [5]Deep Learning模型之:CNN卷积神经网络(一)深度解析CNN [6]Deep Learn

卷积神经网络 cnnff.m程序 中的前向传播算法 数据 分步解析

最近在学习卷积神经网络,哎,真的是一头雾水!最后决定从阅读CNN程序下手! 程序来源于GitHub的DeepLearnToolbox 由于确实缺乏理论基础,所以,先从程序的数据流入手,虽然对高手来讲,这样有点太小儿科了,但觉得对于个人理解CNN网络的结构和数据流走向有较大帮助! 下面,将要分析CNN的前向传播算法cnnff.m 本程序所用的神经网络的结构如下图的结构体net所示 结构体net 包含5层 每层的结构 这五层的结构如下: 每层的结构分别如下: 为了方便自己理解,下面,分别对每一层的输

《卷积神经网络的Python实现》PDF代码+《解析深度学习卷积神经网络原理与视觉实践》PDF分析

CNN正在革新几个应用领域,如视觉识别系统.自动驾驶汽车.医学发现.创新电子商务等.需要在专业项目或个人方案中利用复杂的图像和视频数据集来实现先进.有效和高效的CNN模型. 深度卷积网络DCNN是目前十分流行的深度神经网络架构,它的构造清晰直观,效果引人入胜,在图像.视频.语音.语言领域都有广泛应用. 深度学习,特别是深度卷积神经网络是人工智能的重要分支领域,卷积神经网络技术也被广泛应用于各种现实场景,在许多问题上都取得了超越人类智能的结果. <卷积神经网络的Python实现>作为深度学习领域

深度学习方法(十):卷积神经网络结构变化——Maxout Networks,Network In Network,Global Average Pooling

技术交流QQ群:433250724,欢迎对算法.技术感兴趣的同学加入. 最近接下来几篇博文会回到神经网络结构的讨论上来,前面我在"深度学习方法(五):卷积神经网络CNN经典模型整理Lenet,Alexnet,Googlenet,VGG,Deep Residual Learning"一文中介绍了经典的CNN网络结构模型,这些可以说已经是家喻户晓的网络结构,在那一文结尾,我提到"是时候动一动卷积计算的形式了",原因是很多工作证明了,在基本的CNN卷积计算模式之外,很多简

Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.1

3.Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.1 http://blog.csdn.net/sunbow0 Spark MLlib Deep Learning工具箱,是根据现有深度学习教程<UFLDL教程>中的算法,在SparkMLlib中的实现.具体Spark MLlib Deep Learning(深度学习)目录结构: 第一章Neural Net(NN) 1.源码 2.源码解析 3.实例 第二章D

Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.2

3.Spark MLlib Deep Learning Convolution Neural Network(深度学习-卷积神经网络)3.2 http://blog.csdn.net/sunbow0 第三章Convolution Neural Network (卷积神经网络) 2基础及源码解析 2.1 Convolution Neural Network卷积神经网络基础知识 1)基础知识: 自行google,百度,基础方面的非常多,随便看看就可以,只是很多没有把细节说得清楚和明白: 能把细节说清

【原创】梵高油画用深度卷积神经网络迭代十万次是什么效果? A neural style of convolutional neural networks

作为一个脱离了低级趣味的码农,春节假期闲来无事,决定做一些有意思的事情打发时间,碰巧看到这篇论文: A neural style of convolutional neural networks,译作卷积神经网络风格迁移. 这不是“暮光女”克里斯丁的研究方向吗?!连好莱坞女星都开始搞人工智能发paper,真是热的可见一斑! 这篇文章中讲述了如何用深层卷积神经网络来将一张普通的照片转化成一幅艺术风格的画作(比如梵高的星夜),可以看做是DL(deep learning)在NPR(非真实渲染non p

深度学习方法(十一):卷积神经网络结构变化——Google Inception V1-V4,Xception(depthwise convolution)

技术交流QQ群:433250724,欢迎对算法.机器学习技术感兴趣的同学加入. 上一篇讲了深度学习方法(十):卷积神经网络结构变化--Maxout Networks,Network In Network,Global Average Pooling,本篇讲一讲Google的Inception系列net,以及还是Google的Xception.(扯一下,Google的Researcher们还是给了很多很棒的idea的,希望读者朋友和我自己在了解paper之余,可以提出自己的想法,并实现.) 如果想