深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-01-CNN基础知识点

第一天《CNN基础知识点》From:Convolutional Neural Networks (LeNet)

  1. 神经认知机
    CNN的灵感来源在诸多论文中已经讲得很全面了,就是伟大的生物发现Receptive Field(感受野细胞)。根据这个概念提出了神经认知机。它的主要作用就是Recept部分图像信息(或特征),然后通过分层递交相连,将各个局部特征组合成整个图像特征。 需要仔细阅读的论文包括:
    (1) 第一篇关于感受野功能的论文Receptive fields and functional architecture of monkey striate cortex,1968
    (2) the NeoCognitron A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position,1980
    (3) HMAX Robust object recog-nition with cortex-like mechanisms,2007
    (4) 非常重要的LeNet-5 Gradient-based learning applied to document recognition,1998
  2. 稀疏连接。
    CNN层与层之间的连接并不全是全连接,而是局部连接,它的作用就是大幅度减少参数。

    图1 层间连接示意图
  3. 权值共享。
    滤波器(filter)是图2第m层中每个小圆圈对应的一个神经元,它们的weight和bias是相同的(就是共享相同的参数),然后每个神经元与输入图像数据进行卷积运算,就得到了m层 –特征图层(feature map,每一层可以包含多个特征图),此特征图包含3个隐藏节点(hidden units)。(以上是我个人理解,如有错误,欢迎指出,初学者,见谅)。梯度下降法仍然可以用来训练它们所共享的参数,不过需要在原算法基础上进行小的改动。weight的梯度就是简单的对每个weight中的参数的梯度求和得到。

    图2 权值共享图
  4. 注解说明。
    定义 hk代表某层的第k个特征图。
    公式 hkij=tanh((Wk∗x)ij+bk) 用来计算hk 。
    为了更丰富的表示数据特征,每个隐藏层会包含多个特征图。以下图为例:

    图3 举例,一层中含4个特征图
    图3中的CNN含有2层,m−1层包含4个特征图,m层包含2个特征图,记为h0和h1,h0和h1中的每个像素值是由前一层的每个特征图通过2∗2的感受野计算得出。其中,h0和h1的权值W0和W1是一个3维张量(在这里或许等同于矢量,求解释),第一维表示前一层特征图的下标,后两维表示该特征图的坐标。综合起来,Wklij表示m层第k个特征图的每一个像素点的权重与m−1层第l个特征图的(i,j)像素点的权重相连接。
  5. 卷积运算。
    用的是著名的Python库Theano. ConvOp。具体如何使用见原网页,讲的很详细。
  6. 最大池化。
    CNN中另外一个很重的概念就是最大池化。它是一种非线性的下采样(个人理解其作用类似于降维)方法。最大池化把输入图像划分不相重叠的图像矩阵块,每一个子区域输出其最大值。最大池化方法在视觉处理问题中非常有效的两个原因是:
    (1) 通过减少非最大值来降低对上层的计算复杂度。
    (2) 池化结果支持平移不变性。在卷积层中,每个像素点有8个方向可以平移。当最大池化窗口为2∗2区域时,其中有3个方向会产生相同结果;当最大池化窗口为3∗3区域时,则会有5个方向会产生相同的结果。
    在Theano中的应用举例就不介绍了。
  7. 至此,CNN的基本知识点基本介绍完毕。下一节学习一个完整的CNN模型–LeNet-5

    参考资料
    (1) http://deeplearning.net/tutorial/lenet.html
    (2) Deep Learning(深度学习)学习笔记整理系列之(七)
    (3) Deep learning with Theano 官方中文教程(翻译)(四)—— 卷积神经网络(CNN)

版权声明:本文为博主原创文章,水平有限,欢迎批评指正。欢迎转载,但请注明转载出处,谢谢。QQ:371073260

时间: 2024-10-14 15:00:14

深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-01-CNN基础知识点的相关文章

卷积神经网络(Convolutional Neural Network,CNN)

全连接神经网络(Fully connected neural network)处理图像最大的问题在于全连接层的参数太多.参数增多除了导致计算速度减慢,还很容易导致过拟合问题.所以需要一个更合理的神经网络结构来有效地减少神经网络中参数的数目.而卷积神经网络(Convolutional Neural Network,CNN)可以做到. 1. 卷积神经网络构成 图 1:卷积神经网络 输入层 整个网络的输入,一般代表了一张图片的像素矩阵.图 1中最左侧三维矩阵代表一张输入的图片,三维矩阵的长.宽代表了图

CV学习资料《卷积神经网络与视觉计算》+《深度学习实践计算机视觉》+《视觉SLAM十四讲从理论到实践》电子资料代码分析

视觉和图形学真是一家,基础都一样! 如果学习图像识别,计算机视觉,推荐电子书<视觉SLAM十四讲:从理论到实践>,系统介绍了视觉SLAM(同时定位与地图构建)所需的基本知识与核心算法,既包括数学理论基础,如三维空间的刚体运动.非线性优化,又包括计算机视觉的算法实现,例如多视图几何.回环检测等. 一个周读完了,代码很清晰!Particle Filtering,KF,EKF, Batch Optimization, Lie Group,ICP,LK光流... 尤其惊喜的是文末作者看好的IMU-SL

论文学习-系统评估卷积神经网络各项超参数设计的影响-Systematic evaluation of CNN advances on the ImageNet

写在前面 论文状态:Published in CVIU Volume 161 Issue C, August 2017 论文地址:https://arxiv.org/abs/1606.02228 github地址:https://github.com/ducha-aiki/caffenet-benchmark 在这篇文章中,作者在ImageNet上做了大量实验,对比卷积神经网络架构中各项超参数选择的影响,对如何优化网络性能很有启发意义,对比实验包括激活函数(sigmoid.ReLU.ELU.ma

CNN卷积神经网络 的学习记录一

1. 概述 卷积神经网络的特点:一方面它的神经元间的连接是非全连接的, 另一方面同一层中某些神经元之间的连接的权重是共享的(即相同的). 上图左:图像有1000*1000个像素,有10^6个隐层神经元,进行全连接,有1000*1000*100000=10^12个权值参数 上图右:同样有1000*1000个像素,感受野为10*10 ,每一个节点与上层节点同位置附件10x10的窗口相连接,则有10*10*10^6=10^8个权值参数 我们可以很容易计算网络节点的输出.例如,对于上图中被标注为红色节点

tensorflow学习之路-----卷积神经网络个人总结

卷积神经网络大总结(个人理解) 神经网络 1.概念:从功能他们模仿真实数据 2.结构:输入层.隐藏层.输出层.其中隐藏层要有的参数:权重.偏置.激励函数.过拟合 3.功能:能通过模仿,从而学到事件 其中过拟合:电脑太过于自信,想把所有的数据都模拟下来.但是这并不符合我们的实际的需求 激励函数:激活某一些参数 卷积神经网络: 1.一般的结构:输入数据.卷积层.池化层.卷积层.池化层.全连接层.全连接层.误差分析.参数优化.显示精确度 2.每一个层的要求: 输入数据:类型:[-1(表示能接受任意张图

Tensorflow学习教程------利用卷积神经网络对mnist数据集进行分类_训练模型

原理就不多讲了,直接上代码,有详细注释. #coding:utf-8 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets('MNIST_data',one_hot=True) #每个批次的大小 batch_size = 100 n_batch = mnist.train._num_examples // batch_

卷积神经网络经验-CS231n笔记

课程note中讲了一些工程经验,感觉很有用,记下来供自己以后查阅 相比于大的滤波器,小滤波器更受青睐.小滤波器参数更少.计算量更小.能够表达更多的特征,做反向传播时需要的内存更少. 通常不会考虑创建一个新的网络结构.一般都会找一些在ImageNet上有较好表现的预训练网络,下载下来然后做finetune input layer通常是2的倍数,比如32(CIFAR-10),96(STL-10) conv layer通常使用小滤波器(3x3 或 5x5),stride=1,做padding保证卷积层

深度学习卷积神经网络大事件一览

深度学习(DeepLearning)尤其是卷积神经网络(CNN)作为近几年来模式识别中的研究重点,受到人们越来越多的关注,相关的参考文献也是层出不穷,连续几年都占据了CVPR的半壁江山,但是万变不离其宗,那些在深度学习发展过程中起到至关重要的推动作用的经典文献依然值得回味,这里依据时间线索,对CNN发展过程中出现的一些经典文献稍作总结,方便大家在研究CNN时追本溯源,在汲取最新成果的同时不忘经典. 首先这里给出CNN在发展过程中的一些具有里程碑意义的事件和文献: 对于CNN最早可以追溯到1986

卷积神经网络学习笔记与心得(3)卷积

数字图像是一个二维的离散信号,对数字图像做卷积操作其实就是利用卷积核(卷积模板)在图像上滑动,将图像点上的像素灰度值与对应的卷积核上的数值相乘,然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素的灰度值. 从卷积的效果来看,在二维图像上进行卷积时,卷积核对所在区域上符合某种条件的像素赋予较多的权重,其他的像素赋予的权重较少,这可以看作是一种滤波行为,因此卷积神经网络的卷积核有时也被称为滤波器,卷积核所在区域被称为局部感知域.若局部感知域中存在像素符合加较大权重的条件,称这些像素具有某种特