【深度学习】吴恩达网易公开课练习(class2 week1 task2 task3)

正则化

定义：正则化就是在计算损失函数时，在损失函数后添加权重相关的正则项。

作用：减少过拟合现象

正则化有多种，有L1范式，L2范式等。一种常用的正则化公式

\[J_{regularized} = \small \underbrace{-\frac{1}{m} \sum\limits_{i = 1}^{m} \large{(}\small y^{(i)}\log\left(a^{[L](i)}\right) + (1-y^{(i)})\log\left(1- a^{[L](i)}\right) \large{)} }_\text{cross-entropy cost} + \underbrace{\frac{1}{m} \frac{\lambda}{2} \sum\limits_l\sum\limits_k\sum\limits_j W_{k,j}^{[l]2} }_\text{L2 regularization cost}\]

使用正则化，需要分别在计算损失函数和反向传播计算导数时做相应的修改。

上述正则化对应的反向传播公式需添加一项：

\[\frac{d}{dW} ( \frac{1}{2}\frac{\lambda}{m} W^2) = \frac{\lambda}{m} W\]

dropout

梯度校验

原文地址：https://www.cnblogs.com/dplearning/p/8639678.html