背景

反向传播(Backpropagation)是训练神经网络最通用的方法之中的一个，网上有很多文章尝试解释反向传播是如何工作的，可是非常少有包括真实数字的样例，这篇博文尝试通过离散的数据解释它是如何工作的。

Python实现的反向传播

你能使用Python来实现反向传播，我以前在this Github repo上实现了反向传播算法。

反向传播的可视化

显示神经网络学习时相互作用的可视化，检查我的Neural Network visualization。

另外的资源

假设你发现这个教程对你实用而且想继续学习神经网络以及它的应用。我强烈建议你看Adrian Rosebrock优秀的教程Getting Started with Deep Learning and Python。

概述

对于这个教程。我们将使用2个输入神经元、2个隐含层神经元以及2个输出层神经元组成一个神经网络，另外，隐含层和输出层神经元各包括一个偏差。

这是基本结构：

目的让神经网络工作，我们对权重、偏差和训练的输入/输出设置一个初始值：

反向传播的目的是优化权重。以便于让神经网络学习如何正确的把随意的输入映射到输出中。

这篇教程的剩余部分我们将要和单一的训练集工作：输入0.05和0.10，我们想要神经网络输出0.01和0.99。

前向反馈

为了開始，当前给定权重和偏差以及输入值0.05和0.10，神经网络预測结果是什么，我们须要把输入值向前传给网络。

我们知道所有的输入值传到每一个隐含层神经元中。使用激活函数挤压所有的输入值(在这里。我们使用logistic函数)，对输出层神经元反复这一过程。

计算h1的输入：

然后我们利用logistic函数把neth1挤压到h1的输出：

对h2进行同样的操作：

outh2=0.596884378

对输出层神经元反复操作，使用隐含层神经元的输出作为输出层神经元的输入。

这是o1的输出：

对o2进行同样操作：

outo2=0.772928465

计算总体误差

利用平方和误差，我们能计算每一个输出层神经元的误差：

比如，目标输出o1是0.01，可是神经网络输出是0.75136507，因此误差是：

对o2反复这个过程：

Eo2=0.023560026

神经网络总体误差：

反向传播

反向传播的目的是更新网络中每一个权重。以便他们真实的输出值是接近目标输出，从而最小化输出层神经元的误差。

输出层

考虑w5。我们想要知道w5如何影响总体误差，即αEtotalαw5

应用链式规则：

可视化我们正在做的：

我们须要理解这个公式的每一步。

首先，output如何改变总体误差？

下一步。net input如何改变o1输出？

logistic函数的偏导数是输出乘以1减输出：

最后，w5如何改变o1的net input？

把它们结合起来：

你经常能看到delta rule的结合形式：

我们利用αEtotalαouto1和αouto1αneto1来重写αEtotalαneto1，我们使用这个又一次上面的表达式：

因此：

为了降低误差，我们从当前权重减去这个值(乘以一个学习率，设置成0.5)：

我们能反复这个过程得到新的权重w6，w7和w8：

当我们继续以下的反向传输算法时，我们使用初始权重，而不是更新过的权重。

隐含层

下一步，我们将继续向后计算w1。w2，w3和w4新值，这是我们须要理解的：

可视化：

我们将要对隐含层神经元使用类似的过程。可是略微不同的是。每一个隐含层神经元的输出贡献到多个输出层神经元中。我们知道outh1影响outo1和outo2，因此αEtotalαouth1须要考虑两个输出层神经元的影响：

αEtotalαouth1=αEo1αouth1+αEo2αouth1

先计算αEo1αouth1:

αEo1αouth1=αEo1αneto1?αneto1αouth1

使用稍早前计算的值来计算αEo1αneto1：

αEo1αneto1=αEo1αouto1?αouto1αneto1=0.74136507?0.186815602

αneto1αouth1等于w5:

neto1=w5?outh1+w6?outh2+b2?1

αneto1αouth1=w5=0.40

合在一起：

αEo1αouth1=αEo1αneto1?αneto1αouth1=0.138498562?0.40=0.055399425

对αEo2αouto1做同样的处理：

αEo2αouth1=?0.019049119

因此：

如今我们有αEtotalαouth1，我们还须要计算αouth1αneth1，然后对每一个权重计算αneth1αw：

我们计算h1对w1的偏导数：

把它们结合起来：

你也能够例如以下写：

如今我们能更新w1：

对w2。w3和w4反复上面过程：

最后，我们更新所有权重。当我们把输入0.05和0.1向前反馈。神经网络的误差为0.298371109，在一次反向传播后，总体误差降到0.291027924，它看似不多。可是反复10000次之后，误差大幅下降到0.000035085，在这之后，我们把输入0.05和0.1向前反馈，那么输出的2个神经元生成0.015912196(vs 目标0.01)和0.984065734(vs 目标0.99)。

原文链接：A Step by Step Backpropagation Example