关于最优化中的若干问题

1.最速下降法（也叫梯度下降法）

　　负梯度方向、一维搜索步长、上一次的搜索方向和下一次的方向是正交的，所以会产生锯齿现像，因此影响了收敛的速度，特别是当x接近于收敛点的时候。

2.牛顿法

　　采用Hesse矩阵和梯度来迭代x，从而产生一系列x点。要求Hesse矩阵非奇异而且正定，如果不是，则无法保证目标函数值下降和收敛到极小点。如果收敛则为2级收敛，收敛速度较快。

3.阻尼牛顿法

　　阻尼牛顿法，加入一维搜索步长，通过最小化函数值，能够使得迭代目标函数一般有所下降。

4.拟牛顿法

上面的方法无法保证Hesse矩阵正定，因此拟牛顿法，通过构造Gk正定矩阵，保证Hesse矩阵正定，再作一维搜索，因此一定可以保证函数值下降和收敛。