花呗、白条\/信客服：[3 3 1 5 7 5 6 4 4]，分期乐提现，xin用卡秒提，、来分期、安逸花、任性付各种额度提现，花呗、白条\/信客服：[3 3 1 5 7 5 6 4 4]专业迅速秒回款，可当面操作，可远程操作！流程简单回款迅速，操作专业不卡单几分钟就搞定！深度学习中常常会存在过拟合现象,比如当训练数据过少时,训练得到的模型很可能在训练集上表现非常好,但是在测试集上表现不好.
应对过拟合,可以通过数据增强,增大训练集数量.我们这里先不介绍数据增强,先从模型训练的角度介绍常用的应对过拟合的方法.
权重衰减
权重衰减等价于 L 2 L2
范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。我们先描述L 2 L2
范数正则化，再解释它为何又称权重衰减。
L 2 L2
范数正则化在模型原损失函数基础上添加L 2 L2
范数惩罚项，从而得到训练所需要最小化的函数。L 2 L2
范数惩罚项指的是模型权重参数每个元素的平方和与一个正的常数的乘积。线性回归一文中的线性回归损失函数
?(w 1 ,w 2 ,b)=1n ∑ i=1 n 12 (x (i) 1 w 1 +x (i) 2 w 2 +b−y (i) ) 2
为例，其中w 1 ,w 2 w1,w2
是权重参数，b b
是偏差参数，样本i i
的输入为x (i) 1 ,x (i) 2 x1(i),x2(i)
，标签为y (i) y(i)
，样本数为n n
。将权重参数用向量w=[w 1 ,w 2 ] w=[w1,w2]
表示，带有L 2 L2
范数惩罚项的新损失函数为
?(w 1 ,w 2 ,b)+λ2n ∥w∥ 2 ,
其中超参数λ>0 λ>0
。当权重参数均为0时，惩罚项最小。当λ λ
较大时，惩罚项在损失函数中的比重较大，这通常会使学到的权重参数的元素较接近0。当λ λ
设为0时，惩罚项完全不起作用。上式中L 2 L2
范数平方∥w∥ 2 ‖w‖2
展开后得到w 2 1 +w 2 2 w12+w22
。
显然,相比没有正则化项的loss,有了L 2 L2
范数惩罚项后求导后将多出来一项λw i λwi
,所以，在小批量随机梯度下降中，权重w 1 w1
和w 2 w2
的迭代方式将变为
原文地址：https://www.cnblogs.com/dfdf55/p/12113734.html