最优化 梯度 海塞矩阵

一、方向导数

lim t->0  f(x0+td)-f(x0)  /   t 存在

则该极限为f在x0处沿方向d的方向导数

记为

∂ f/∂ d

下降方向：

方向导数∂ f/∂ d <0 ，则d为f在x0处的下降方向

二、梯度

对于向量x,若每个偏导数

∂ f/∂ x(i) 都存在

则列向量为f在x处的梯度

记号

▽f(x)

三、可微与梯度

可微则一定存在梯度

梯度存在不一定可微

定理

若f在x处可微，则 方向导数=梯度 的转置*方向向量d

四、海塞矩阵

（Hessian Matrix），又译作海森矩阵、海瑟矩阵、海塞矩阵等，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。

海塞矩阵由目标函数  f在点x处的二阶偏导数组成的  n×n阶矩阵

当二阶偏导连续，矩阵为对称矩阵

原文地址：https://www.cnblogs.com/wander-clouds/p/8524952.html