动机(Motivation)
对于非线性分类问题，如果用多元线性回归进行分类，需要构造许多高次项，导致特征特多学习参数过多，从而复杂度太高。
神经网络(Neural Network)
一个简单的神经网络如下图所示，每一个圆圈表示一个神经元，每个神经元接收上一层神经元的输出作为其输入，同时其输出信号到下一层，其中每一层的第一个神经元称为bias unit，它是额外加入的其值为1，通常用+1表示,下图用虚线画出。
符号说明：
- $a_i^{(j)}$表示第j层网络的第i个神经元，例如下图$a_1^{(2)}$就表示第二层的第一个神经元
- $\theta^{(j)}$表示从第$j$层到第$j+1$层的权重矩阵，例如下图所有的$\theta^{(1)}$表示从第一层到第二层的权重矩阵
- $\theta^{(j)}_{uv}$表示从第j层的第v个神经元到第j+1层的第u个神经的权重，例如下图中$\theta^{(1)}_{23}$表示从第一层的第3个神经元到第二层的第2个神经元的权重，需要注意到的是下标uv是指v->u的权重而不是u->v，下图也给出了第一层到第二层的所有权重标注
- 一般地，如果第j层有$s_j$个神经元（不包括bias神经元），第j+1层有$s_{j+1}$个神经元（也不包括bias神经元），那么权重矩阵$\theta^{j}$的维度是$(s_{j+1}\times s_j+1)$
前向传播(Forward Propagration, FP)
后一层的神经元的值根据前一层神经元的值的改变而改变，以上图为例，第二层的神经元的更新方式为
$$a_1^{(2)} = g(\theta_{10}^{(1)}x_0 + \theta_{11}^{(1)}x_1 + \theta_{12}^{(1)}x_2 + \theta_{13}^{(1)}x_3)$$
$$a_2^{(2)} = g(\theta_{20}^{(1)}x_0 + \theta_{21}^{(1)}x_1 + \theta_{22}^{(1)}x_2 + \theta_{23}^{(1)}x_3)$$
$$a_3^{(2)} = g(\theta_{30}^{(1)}x_0 + \theta_{31}^{(1)}x_1 + \theta_{32}^{(1)}x_2 + \theta_{33}^{(1)}x_3)$$
$$a_4^{(2)} = g(\theta_{40}^{(1)}x_0 + \theta_{41}^{(1)}x_1 + \theta_{42}^{(1)}x_2 + \theta_{43}^{(1)}x_3)$$
其中g(z)为sigmoid函数，即$g(z)=\frac{1}{1+e^{-z}}$
1. 向量化实现(Vectorized Implementation)
如果我们以向量角度来看待上述的更新公式，定义
$a^{(1)}=x=\left[ \begin{matrix}x_0\\ x_1 \\ x_2 \\ x_3 \end{matrix} \right]$ $z^{(2)}=\left[ \begin{matrix}z_1^{(2)}\\ z_1^{(2)} \\ z_1^{(2)}\end{matrix} \right]$ $\theta^{(1)}=\left[\begin{matrix}\theta^{(1)}_{10}& \theta^{(1)}_{11}& \theta^{(1)}_{12}& \theta^{(1)}_{13}\\ \theta^{(1)}_{20}& \theta^{(1)}_{21}& \theta^{(1)}_{22}& \theta^{(1)}_{23}\\ \theta^{(1)}_{30}& \theta^{(1)}_{31}& \theta^{(1)}_{32} & \theta^{(1)}_{33}\end{matrix}\right]$
则更新公式可以简化为
$$z^{(2)}=\theta^{(1)}a^{(1)}$$
$$a^{(2)}=g(z^{(2)})$$
$$z^{(3)}=\theta^{(2)}a^{(2)}$$
$$a^{(3)}=g(z^{(3)})=h_\theta(x)$$
可以看到，我们由第一层的值，计算第二层的值；由第二层的值，计算第三层的值，得到预测的输出，计算的方式一层一层往前走的，这也是前向传播的名称由来。
2. 与Logistic回归的联系
考虑上图没有隐藏层的神经网络，其中$x=\left[ \begin{matrix}x_0\\ x_1 \\ x_2 \\ x_3 \end{matrix} \right]$，$\theta=\left[ \begin{matrix}\theta_0& \theta_1& \theta_2 & \theta_3 \end{matrix} \right]$，则我们有$h_\theta(x)=a_1^{(2)}=g(z^{(1)})=g(\theta x)=g(x_0\theta_0+x_1\theta_1+x_2\theta_2+x_3\theta_3)$，可以看到这正是Logistic回归的假设函数！！！这种关系表明Logistic是回归是不含隐藏层的特殊神经网络，神经网络从某种程度上来说是对logistic回归的推广。
神经网络示例
对于如下图所示的线性不可分的分类问题，(0,0)(1,1)为一类(0,1)(1,0)为另一类，神经网络可以解决（见5）。首先需要一些简单的神经网络(1-4)，其中图和真值表结合可以清楚的看出其功能，不再赘述。
1. 实现AND操作
2. 实现OR操作
3. 实现非操作
4. 实现NAND=((not x1) and (not x2))操作
5. 组合实现NXOR=NOT(x1 XOR x2) 操作
该神经网络用到了之前的AND操作（用红色表示）、NAND操作（用青色表示）和OR操作（用橙色表示），从真值表可以看出，该神经网络成功地将(0, 0)(1,1)分为一类，(1,0)(0,1)分为一类，很好解决了线性不可分的问题。
神经网络的代价函数(含正则项)
$$J(\Theta) = -\frac{1}{m}\left[\sum\limits_{i=1}^{m}\sum\limits_{k=1}^{K}y^{(i)}_{k}log(h_\theta(x^{(i)}))_k + (1-y^{(i)}_k)log(1-(h_\theta(x^{(i)}))_k)\right] + \frac{\lambda}{2m}\sum_{l=1}^{L-1}\sum\limits_{i=1}^{s_l}\sum\limits_{j=1}^{s_{l+1}}(\Theta_{ji}^{(l)})^2$$
符号说明：
- $m$ — 训练example的数量
- $K$ — 最后一层（输出层）的神经元的个数，也等于分类数（分$K$类，$K\geq 3$）
- $y_k^{(i)}$ — 第$i$个训练exmaple的输出(长度为$K$个向量)的第$k$个分量值
- $(h_\theta(x^{(i)}))_k$ — 对第$i$个example用神经网络预测的输出(长度为$K$的向量)的第$k$个分量值
- $L$ — 神经网络总共的层数（包括输入层和输出层）
- $\Theta^{(l)}$ — 第$l$层到第$l+1$层的权重矩阵
- $s_l$ — 第$l$层神经元的个数, 注意$i$从1开始计数，bias神经元的权重不算在正则项内
- $s_{l+1}$ — 第$l+1$ 层神经元的个数
参考文献
[1] Andrew Ng Coursera 公开课第四周
[2] Neural Networks. https://www.doc.ic.ac.uk/~nd/surprise_96/journal/vol4/cs11/report.html
[3] The nature of code. http://natureofcode.com/book/chapter-10-neural-networks/
[4] A Basic Introduction To Neural Networks. http://pages.cs.wisc.edu/~bolo/shipyard/neural/local.html