在许多线性回归问题中都可以选择最小二乘法作为代价函数,在之前的文章线性代数——最小二乘法和投影矩阵中讲到过,系数项是可以通过公式 x=(ATA)^-1*ATb 一次性求到的,然而大量的训练数据可能使得ATA没有逆,即便是利用伪逆,其计算量也会很大,所以才有了梯度下降来迭代系数的方法。
梯度下降法分许多种,这里分析以负梯度为方向更新的方法
、
设Θ1为待更新的系数,根据链式法则有
以双系数Θ1,Θ0 为例,h(x)=Θ1x1+Θ0x2+b,对Θ1求偏导后所得值就是x1,最终结果为
偏导的反方向往往指向局部最低点,所以每次往这个方向更新
其中σ是学习率,学习率的选取很重要,可以将它理解为更新的步幅,如果幅度过大就有可能一步跨过最低点,导致最后没法收敛
原文地址:https://www.cnblogs.com/matrixmlpforever/p/10981436.html
时间: 2024-10-09 17:18:29