牛顿法求极值

在机器学习课上，Doctor夏弥 在详解了梯度下降法之后，又给出了牛顿法来求极值。当时我们却是一脸懵的，回来温习时发现，这本该就是个高中知识，丢人丢到国外了哦！

如下图所示的曲线，我们需要求的是f(x)=的解：

而对于一脸懵的原因，我想是因为我们忘记了高中所学的点斜式，直接贴一张高中数学讲义：

因为我们一路沿着x轴去寻找解，所以迭代求f(x)=0的解得通用式为：

与梯度下降相比，牛顿法也同样是沿着曲线的斜率去寻找极值，但是不存在需要自定义learning rate的问题，因为alpha是由斜率来决定的。

原文地址：https://www.cnblogs.com/rhyswang/p/8343747.html