https://blog.csdn.net/tianguiyuyu/article/details/80438630
以上是莫烦对L1和L2的理解
l2正则:权重的平方和,也就是一个圆
l1正则:权重的绝对值之和,等价与一个正方形。
图中,正则项和损失项的交点就是最优解的位置,我们可以看到,在只有2个参数的情况下,l1倾向使得某个参数直接为0;l2倾向使得某些参数逼近0
再看下吴恩达的理解
正则化的意义:在于让高阶的参数逼近0,使其对拟合函数的贡献变小;可以看到theta3和theta4,我们给他很高的系数,在求解最小值的过程中,我们更倾向给theta3和theta4更大的惩罚,使之变得很小很小。
这是某个损失函数增加了L2正则化后的loss
下面是针对加了L2损失函数的梯度下降求解过程
原文地址:https://www.cnblogs.com/ivyharding/p/11404202.html
时间: 2024-10-06 14:26:54