C++卷积神经网络实例:tiny_cnn代码具体解释(7)——fully_connected_layer层结构类分析

  之前的博文中已经将卷积层、下採样层进行了分析。在这篇博文中我们对最后一个顶层层结构fully_connected_layer类(全连接层)进行分析:

  一、卷积神经网路中的全连接层

  在卷积神经网络中全连接层位于网络模型的最后部分,负责对网络终于输出的特征进行分类预測,得出分类结果:

  LeNet-5模型中的全连接层分为全连接和高斯连接,该层的终于输出结果即为预測标签,比如这里我们须要对MNIST数据库中的数据进行分类预測,当中的数据一共同拥有10类(数字0~9),因此全全连接层的终于输出就是一个10维的预測结果向量,哪一维的值为非零,则预測结果相应的就是几。

  二、fully_connected_layer类结构

  与之前卷积层和下採样层不同的是,这里的全连接层fully_connected_layer类继承自基类layer,当中类成员一共可分为四大部分:成员变量、构造函数、前向传播函数、反向传播函数。

  2.1 成员变量

  fully_connected_layer类的成员变量仅仅有一个。就是一个Filter类型的变量:

  而这里的Filter是通过类模板參数传入的一个缺省filter_none类型,具体例如以下:

  至于filter_none类型,从名称推断应该是一个和滤波器核相关的类封装,具体定义在dropout.h文件里:

  有关dropout.h文件里封装的相关类的具体信息我会在之后的博文中进行具体的介绍。这里先留一个坑,只是事先透漏一点,卷积神经网络中的dropout本质上是为了改善网络过拟合性能而设计的。

  2.2 构造函数

  构造函数极其简单。单纯的调用了基类layer的构造函数:

  至于基类layer,里面封装了大量的虚函数以及纯虚函数,并给出了网络层主要的框架设定。对layer_base类进行了一部分实例化,这几点我们以后会具体说的。

  2.3 前向传播函数

  众所周知,卷积神经网络在训练时和BP神经网络的训练极其类似。包含一个样本预測的前向传播过程和误差的反向传播过程。

首先前向传播函数的代码例如以下:

        const vec_t& forward_propagation(const vec_t& in, size_t index) {
            vec_t &a = a_[index];
            vec_t &out = output_[index];

            for_i(parallelize_, out_size_, [&](int i) {
                a[i] = 0.0;
                for (int c = 0; c < in_size_; c++)
                    a[i] += W_[c*out_size_ + i] * in[c];

                a[i] += b_[i];
            });

            for_i(parallelize_, out_size_, [&](int i) {
                out[i] = h_.f(a, i);
            });

            auto& this_out = filter_.filter_fprop(out, index);

            return next_ ?

next_->forward_propagation(this_out, index) : this_out;
        }

  从代码中能够看出这个前向传播函数本质上属于一个递归函数,用递归的方式实现层层传播的功能:

  在前向传播的过程中,主要有两个阶段。一是通过当前层的卷积核和偏置完毕对输入数据的映射:

  从代码中可见,卷积层的映射过程本质上就是一个卷积操作,然后在对卷积结果累加偏置。第二个阶段就是将卷积层的映射结果送入激活函数中进行处理:

  激活函数的主要作用是对卷积层的映射输出进行规范化。调整期数据分布。经典的激活函数是Sigmoid函数。主要对输出特征进行平滑。在之后学者又提出Relu类型的激活函数。主要是对输出特征进行稀疏化规范,使其更接近于人脑的视觉映射机理。在tiny_cnn中作者封装了sigmoid、relu、leaky_relu、softmax、tan_h、tan_hp1m2等激活函数,这些类都定义在activation命名空间中,具体在activation_function.h文件里,在兴许的篇幅中我会专门拿出一篇博文的篇幅对tiny_cnn的激活函数做集中的分析。

  2.4 反向传播函数

  反向传播算法是BP类型神经网络的经典特征。大部分都採用随机梯度下降法对误差进行求导和传播。因为反向传播算法涉及到误差的求偏导、灵敏度传递等概念,导致其在原理上相对于前向传播过程显得更为复杂,代码实现也较为繁琐。我们这里仅仅是先给出反向传播的代码,在兴许的博文中在针对这个传播过程进行更文具体的分析。OK,又是一个坑:

    const vec_t& back_propagation(const vec_t& current_delta, size_t index) {
            const vec_t& curr_delta = filter_.filter_bprop(current_delta, index);
            const vec_t& prev_out = prev_->output(index);
            const activation::function& prev_h = prev_->activation_function();
            vec_t& prev_delta = prev_delta_[index];
            vec_t& dW = dW_[index];
            vec_t& db = db_[index];

            for (int c = 0; c < this->in_size_; c++) {
                // propagate delta to previous layer
                // prev_delta[c] += current_delta[r] * W_[c * out_size_ + r]
                prev_delta[c] = vectorize::dot(&curr_delta[0], &W_[c*out_size_], out_size_);
                prev_delta[c] *= prev_h.df(prev_out[c]);
            }

            for_(parallelize_, 0, out_size_, [&](const blocked_range& r) {
                // accumulate weight-step using delta
                // dW[c * out_size + i] += current_delta[i] * prev_out[c]
                for (int c = 0; c < in_size_; c++)
                    vectorize::muladd(&curr_delta[0], prev_out[c], r.end() - r.begin(), &dW[c*out_size_ + r.begin()]);

                for (int i = r.begin(); i < r.end(); i++)
                    db[i] += curr_delta[i];
            });

            return prev_->back_propagation(prev_delta_[index], index);
        }

  四、注意事项

  1、卷积层和下採样层的前向/反向传播函数

  在fully_connected_layer类中我们发现其内部封装了前向/反向传播函数,但在之前介绍的卷积层和均值下採样层中我们并没有发现前向/反向传播函数的影子,但前向/反向传播函数确实是一个全局的过程。不可能出现断层,因此细致研究就会发现原来作者是将convolutional_layer类和average_pooling_layer相应的前向/反向传播函数封装在了它们共同的基类:partial_connected_layer中了。

  2、前向传播函数和反向传播函数

  在这篇博文中我为兴许的博文中挖下了非常多大坑,尤其像前向/反向传播函数这样的卷积神经网络训练的精华部分,是最能体现作者编程功力和框架设计功力的地方,一两篇博文都不一定能讲的清楚,所以请大家不要着急,我会尽快把当中的玄机弄明确。然后用通俗的语言进行解释的,所以说。坑一定会都一一填上的。

时间: 2024-09-29 17:35:56

C++卷积神经网络实例:tiny_cnn代码具体解释(7)——fully_connected_layer层结构类分析的相关文章

C++卷积神经网络实例:tiny_cnn代码详解(7)——fully_connected_layer层结构类分析

之前的博文中已经将卷积层.下采样层进行了分析,在这篇博文中我们对最后一个顶层层结构fully_connected_layer类(全连接层)进行分析: 一.卷积神经网路中的全连接层 在卷积神经网络中全连接层位于网络模型的最后部分,负责对网络最终输出的特征进行分类预测,得出分类结果: LeNet-5模型中的全连接层分为全连接和高斯连接,该层的最终输出结果即为预测标签,例如这里我们需要对MNIST数据库中的数据进行分类预测,其中的数据一共有10类(数字0~9),因此全全连接层的最终输出就是一个10维的

C++卷积神经网络实例:tiny_cnn代码具体解释(6)——average_pooling_layer层结构类分析

在之前的博文中我们着重分析了convolutional_layer类的代码结构.在这篇博文中分析相应的下採样层average_pooling_layer类: 一.下採样层的作用 下採样层的作用理论上来说由两个,主要是降维,其次是提高一点特征的鲁棒性.在LeNet-5模型中.每一个卷积层后面都跟着一个下採样层: 原因就是当图像在经过卷积层之后.因为每一个卷积层都有多个卷积模板,直接导致卷积结果输出的特征矩阵相对于输入的数据矩阵其维数要提高数倍.再加上存在若干卷积层(谷歌的某些模型甚至超过100层)

C++卷积神经网络实例:tiny_cnn代码详解(9)——partial_connected_layer层结构类分析(下)

在上一篇博文中我们着重分析了partial_connected_layer类的成员变量的结构,在这篇博文中我们将继续对partial_connected_layer类中的其他成员函数做一下简要介绍. 一.构造函数 由于partial_connected_layer类是继承自基类layer,因此在构造函数中同样分为两部分,即调用基类构造函数以及初始化自身成员变量: partial_connected_layer(layer_size_t in_dim, layer_size_t out_dim,

C++卷积神经网络实例:tiny_cnn代码详解(11)——层结构容器layers类源码分析

在这篇博文中我们对tiny_cnn卷积神经网络模型中的最后一个网络结构方面的类--layers做简要分析. 首先,layers通俗的讲可以被称为是层结构的vector,即层结构容器.由于卷积神经网络是一个多层的网络模型,因此有必要将网络中各个层进行统一管理,这便引出了本篇博文中所要介绍的layers类.layers类是一个vector类型的变量,其中压入的元素就是网络中的各个层模型,这里给出一个简单的结构图,一目了然: 从上图中可以清晰的看到layers的vector结构,说白了就是一个层结构类

DeepLearning tutorial(4)CNN卷积神经网络原理简介+代码详解

DeepLearning tutorial(4)CNN卷积神经网络原理简介+代码详解 @author:wepon @blog:http://blog.csdn.net/u012162613/article/details/43225445 本文介绍多层感知机算法,特别是详细解读其代码实现,基于python theano,代码来自:Convolutional Neural Networks (LeNet).经详细注释的代码和原始代码:放在我的github地址上,可下载. 一.CNN卷积神经网络原理

C++卷积神经网络实例:tiny_cnn代码详解(12)——从CNN中看多态性

最近由于在准备论文的相关事宜,导致博客的更新速度有点缓慢,望大家见谅.不过该更新还是要更新的,所以今天我就挤出一点时间来更新一篇.由于之前的博文已经将tiny_cnn中相关的网络层结构介绍的差不多,接下来的博文中着重介绍卷积神经网络的训练流程和测试流程,重点就是前向传播算法和反向传播算法.不过我在研究CNN前向传播算法的流程时,发现作者在前向传播算法的调用过程中,很好的体现了C++的多态性特点,考虑到多态性是各个招聘单位面试时饱受青睐的一道考题,于是决定单独拿出一篇博文来从tiny_cnn的角度

经典的卷积神经网络及其Pytorch代码实现

1.LeNet LeNet是指LeNet-5,它是第一个成功应用于数字识别的卷积神经网络.在MNIST数据集上,可以达到99.2%的准确率.LeNet-5模型总共有7层,包括两个卷积层,两个池化层,两个全连接层和一个输出层. import torch import torch.nn as nn from torch.autograd import Variable #方形卷积核和等长的步长 m1=nn.Conv2d(16,33,3,stride=2) #非长方形卷积核,非等长的步长和边界填充 m

《卷积神经网络的Python实现》PDF代码+《解析深度学习卷积神经网络原理与视觉实践》PDF分析

CNN正在革新几个应用领域,如视觉识别系统.自动驾驶汽车.医学发现.创新电子商务等.需要在专业项目或个人方案中利用复杂的图像和视频数据集来实现先进.有效和高效的CNN模型. 深度卷积网络DCNN是目前十分流行的深度神经网络架构,它的构造清晰直观,效果引人入胜,在图像.视频.语音.语言领域都有广泛应用. 深度学习,特别是深度卷积神经网络是人工智能的重要分支领域,卷积神经网络技术也被广泛应用于各种现实场景,在许多问题上都取得了超越人类智能的结果. <卷积神经网络的Python实现>作为深度学习领域

tiny_cnn代码详解(3)——层间继承关系

在上一篇博文中我们顺利将tiny_cnn的程序调试通过,在这篇博文中我们尝试从整体角度给出对tiny_cnn这个深度学习框架的解读,重点论述一下其各个层直接类封装的继承关系. 一.卷积神经网络快速入门 tiny_cnn作为卷积神经网络的一种实现形式,在探讨其框架结构之前,首先需要简要介绍一些卷积神经网络相关的知识.首先,给出经典卷积神经网络的网络结构: 这个是经典的LeNet-5的网络结构图,五层网络.最早用于支票上的手写数字识别,也是最早的商业化的深度学习模型.从上图中可以看出,卷积神经网络主