05 神经网络与深度学习相关笔记

说明：

本文主要是关于http://neuralnetworksanddeeplearning.com/的相关笔记

问题一：神经元在错误的值上饱和导致学习速率的下降

解决：

1.输出层：

因使用二次代价函数时，学习在神经元犯了明显错误时却比学习快接近真实值时慢，

可以使用交叉熵代价函数

使得在神经元犯明显错误时学习得更快

注：

输出层：具有交叉熵代价的S型(sigmoid)输出层或具有对数似然代价的柔性最大值(softmax)输出层

后者更加适用于那些需要将输出激活值解释为概率的场景

2.隐藏层：

改进的权重初始化

问题二：过拟合

解决：

1.L1或L2规范化／权重衰减

在代价函数上增加一个规范化项

2.弃权dropout

3.人为扩展训练数据

问题三：梯度消失

网络越深问题越严重

解决：

1.激励函数的选择