梯度下降法实践以及特征和多项式回归

今天解释梯度下降法的实践

从昨天工资模型中我们引入两个变量

姓名      月工资      考勤率     上税率       合计

W          4700元       0.9            0.15         3760元

Z           4900元       0.85          0.26         3675 元

T           4850元       0.99          0.35         4122.5元

p           4750元       0.95          0.17         4037.5元

...          ...........        .......          ....          .............

我们从其中引入两个变量考勤率x1与上税率x2，

所以我们画出函数的高线图线

微微图像看起来比较扁，所以我们要多次叠加才可以收敛

解决办法是将图形收敛到0.5到1之间。

梯度下降算法收敛所需要的迭代次数根据模型的不同而不同，我们不能提前预知，我们可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛。

如果学习率过小，那么函数将会更迭很多次数，如果学习率过大，所以函数就会无法收敛。

一般学习率建议采取α=0.01 ，0.03 ，0.1 ，0.3 ，1 ，3 ，10

原文地址：https://www.cnblogs.com/tgr12345/p/12375279.html