机器学习（三）梯度下降与拟牛顿

这节课的推导真心hold不住了。按照自己的理解记下仅看明白的东西吧。或许还有第二遍、第三遍整理呢。

主要讲了两个问题：

学习率α如何确定？

　　使用固定的学习率还是变化的学习率？

　　学习率设置为多大比较好？

下降的方向如何处理，除了梯度方向，有没有其他方向？

　　可行方向和梯度方向有何关系？

先上结论：

使用固定的学习率还是变化的学习率？

使用变化的学习率好。学习率的确定可以这样：在参数迭代的开始阶段，由于与最优值差距较大，可以使用较大的学习率；在迭代后期，使用较小的学习率增加稳定性和精度。

学习率设置为多大比较好？

构造一个关于α的函数，然后用二分线性搜索或回溯搜索来求得当前最优的学习率α。注意：当前最优。

那如何构造学习率α？

推导...

可行方向和梯度方向有何关系？

就是拟牛顿方向，我的理解是，梯度是线性的，牛顿是非线性的。梯度线性下降或者牛顿非线性下降。

********************************************分割线**********************************************