目标检测之基础hessian matrix ---海森矩阵

就是海赛(海色)矩阵,在网上搜就有。

在数学中,海色矩阵是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵,

Hessian矩阵是多维变量函数的二阶偏导数矩阵,H(i,j)=d^2(f)/(d(xi)d(xj))

它是对称的。如果是正定的的可用导数=0的变量组确定它的极小值,负定的确定它的极大值,否则无法确定极值。 

1.极值(极大值或极小值)的定义

设有定义在区域D  Rn上的函数 y=f(x)=f(x1,...,xn) . 对于区域D的一内点x0=(x10,...,xn0),若存在x0的一个邻域UD,使得

             f(x)≤f(x0)     x∈U

     则称x0是f(x)的极大点,f(x0)称为f(x)的极大值.

     相反,如

             f(x)≥f(x0)     x∈U

     则称x0是f(x)的极小点,f(x0)称为f(x)的极小值.

2.海赛(Hessian)矩阵

  设函数y=f(x)=f(x1,...,xn)在点x0=(x10,...,xn0)的一个邻域内所有二阶偏导数连续,则称下列矩阵H为f(x)在x0点的海赛矩阵.

显然海赛矩阵是对称的,从而它的所有特征根均为实数.

3.极值

存在的必要条件

若x0是f(x)的极值点,如果存在,则

     进一步设在一个邻域内所有二阶导数连续,H为在点x0的海赛矩阵.则

    (1)x0是f(x)的极小点  H≥0,即H 的特征根均为非负.

    (2)x0是f(x)的极大点H≤0,即H的特征根为非正.

若在x0点有,则称x0是f(x)的临界点,f(x0)为临界值.

4.极值存在的充分条件

  设f(x)在x0的一个邻域内所有二阶偏导数连续,且x0是f(x)的临界点(即),H为f(x)在x0点的海赛矩阵,则

  (1)H>0,即H为正定矩阵x0是f(x)的极小点.

  (2)H<0,即H为负定矩阵x0是f(x)的极大点.

  (3)H的特征根有正有负x0不是f(x)的极值点.

  (4)其余情况,则不能判定x0是或者不是f(x)的极值点.

5.二元函数极值存在的充分条件

  作为4的特例。观察二元函数极值存在的充分条件.

  设z=f(x,y)在(x0,y0)的一个邻域内所有二阶偏导数连续,  且,

  记 .

  那么,海赛矩阵.

  (1)若A>0,detH=AC-B2>0,则H正定,从而(x0,y0)是f(x,y)的极小点.

  (2)若A<0,detH=AC-B2>0,则H负定,从而(x0,y0)是f(x,y)的极大点.

  (3)若detH=AC-B2<0,则H的特征根有正有负,从而(x0,y0)不是f(x,y)的极值点.

  (4)若detH=AC-B2=0,则不能判定(x0,y0)是否为f(x,y)的极值点.

6.条件极值

求函数      y=f(x)=f(x1,...,xn)         x∈DRn                    (1),

     在约束条件:qk(x)=qk(x1,...,xn)=0,k=1,...,m,m<n             (2),

     下的极值,称为条件极值问题.

     此处,假设雅可比矩阵的秩在D内处处为m,即保证m个约束条件是独立的.

直接代入法

     从约束条件(2)中直接解出m个变量,代入到(1)中,将问题化为求n-m个变量函数的直接极值问题.

拉格朗日(Lagrange)乘数法

     引入拉格朗日函数:

                    (3)

     其中λ1,...,λm称为拉格朗日乘子,是待定常数.

     条件极值问题(1)和(2)可化为求拉格朗日函数(3)的直接极值问题.

    (1) 若x0为(1)和(2)的条件极值点,则x0满足方程组

满足上述方程组的点称为条件极值问题的临界点.显然极值点为临界点,而临界点未必一定是极值点.

    (2)若x0是临界点, HL为拉格朗日函数L在x0点的海赛矩阵, 则可按4中给出的极值存在的充分条件,由HL的正定、负定或不定,判断x0是极小点、极大点或不是极值点.http://zhidao.baidu.com/link?url=p1cPMKHMIGidZRYfTDDP5RwTW9sAe0xPk4Y-DQR03htxWCNFElxq1Ql809b17ROi8GKZctHnReZadk_xw5Qpwa http://blog.csdn.net/memray/article/details/9174705 雅可比和海森矩阵的对比http://zh.wikipedia.org/wiki/海森矩阵 wiki百科
时间: 2024-10-19 13:30:37

目标检测之基础hessian matrix ---海森矩阵的相关文章

海森(Hessian)矩阵

在图的鞍点位置,?标函数在x轴?向上是局部最小值,但在y轴?向上是局部最?值. 假设?个函数的输?为k维向量,输出为标量,那么它的海森矩阵(Hessian matrix)有k个特征值(参?附录中“数学基础”?节).该函数在梯度为0的位置上可能是局部最小值.局部最?值或者鞍点. •当函数的海森矩阵在梯度为零的位置上的特征值全为正时,该函数得到局部最小值.• 当函数的海森矩阵在梯度为零的位置上的特征值全为负时,该函数得到局部最?值.•当函数的海森矩阵在梯度为零的位置上的特征值有正有负时,该函数得到鞍

使用python求海森Hessian矩阵

考虑一个函数$y=f(\textbf{x}) (R^n\rightarrow R)$,y的Hessian矩阵定义如下: 考虑一个函数:$$f(x)=b^Tx+\frac{1}{2}x^{T}Ax\\其中b^T=[1,3,5], A在代码中可读$$ 求该函数在x = [0,0,0]处海森矩阵值的python代码如下: import torch # 定义函数 x = torch.tensor([0., 0, 0], requires_grad=True) b = torch.tensor([1.,

黑塞矩阵(Hessian Matrix)

在机器学习课程里提到了这个矩阵,那么这个矩阵是从哪里来,又是用来作什么用呢?先来看一下定义: 黑塞矩阵(Hessian Matrix),又译作海森矩阵.海瑟矩阵.海塞矩阵等,是一个多元函数的二阶偏导数构成的方阵,描述了函数的局部曲率.黑塞矩阵最早于19世纪由德国数学家Ludwig Otto Hesse提出,并以其名字命名.黑塞矩阵常用于牛顿法解决优化问题. 一般来说, 牛顿法主要应用在两个方面, 1, 求方程的根; 2, 最优化. 在机器学习里,可以考虑采用它来计算n值比较少的数据,在图像处理里

深度学习之目标检测常用算法原理+实践精讲

第1章 课程介绍本章节主要介绍课程的主要内容.核心知识点.课程涉及到的应用案例.深度学习算法设计通用流程.适应人群.学习本门课程的前置条件.学习后达到的效果等,帮助大家从整体上了解本门课程的整体脉络. 第2章 目标检测算法基础介绍本章节主要介绍目标检测算法的基本概念.传统的目标检测算法.目前深度学习目标检测主流方法(one-stage.two-stage.多任务网络).相关算法的基本流程.算法性能的评价指标.不同算法的优缺点和性能比较等,并结合实际的应用场景和案例来介绍目标检测算法的重要性和实用

深度学习之目标检测常用算法原理+实践精讲 YOLO / Faster RCNN / SSD / 文本检测 / 多任务网络

深度学习之目标检测常用算法原理+实践精讲 YOLO / Faster RCNN / SSD / 文本检测 / 多任务网络 资源获取链接:点击这里 第1章 课程介绍 本章节主要介绍课程的主要内容.核心知识点.课程涉及到的应用案例.深度学习算法设计通用流程.适应人群.学习本门课程的前置条件.学习后达到的效果等,帮助大家从整体上了解本门课程的整体脉络. 1-1 课程导学 第2章 目标检测算法基础介绍 本章节主要介绍目标检测算法的基本概念.传统的目标检测算法.目前深度学习目标检测主流方法(one-sta

最优化 梯度 海塞矩阵

一.方向导数 lim t->0  f(x0+td)-f(x0)  /   t 存在 则该极限为f在x0处沿方向d的方向导数 记为 ∂ f/∂ d 下降方向: 方向导数∂ f/∂ d <0 ,则d为f在x0处的下降方向 二.梯度 对于向量x,若每个偏导数 ∂ f/∂ x(i) 都存在 则列向量为f在x处的梯度 记号 ▽f(x) 三.可微与梯度 可微则一定存在梯度 梯度存在不一定可微 定理 若f在x处可微,则 方向导数=梯度 的转置*方向向量d 四.海塞矩阵 (Hessian Matrix),又译

机器学习(ML)十六之目标检测基础

目标检测和边界框 在图像分类任务里,我们假设图像里只有一个主体目标,并关注如何识别该目标的类别.然而,很多时候图像里有多个我们感兴趣的目标,我们不仅想知道它们的类别,还想得到它们在图像中的具体位置.在计算机视觉里,我们将这类任务称为目标检测(object detection)或物体检测. 目标检测在多个领域中被广泛使用.例如,在无人驾驶里,我们需要通过识别拍摄到的视频图像里的车辆.行人.道路和障碍的位置来规划行进线路.机器人也常通过该任务来检测感兴趣的目标.安防领域则需要检测异常目标,如歹徒或者

目标检测基础

9.3 目标检测和边界框 %matplotlib inline from PIL import Image import sys sys.path.append('/home/kesci/input/') import d2lzh1981 as d2l # 展示用于目标检测的图 d2l.set_figsize() img = Image.open('/home/kesci/input/img2083/img/catdog.jpg') d2l.plt.imshow(img); # 加分号只显示图

第二十八节,目标检测算法之R-CNN算法详解

Girshick, Ross, et al. "Rich feature hierarchies for accurate object detection and semantic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2014. R-CNN的全称是Region-CNN,它可以说是第一个成功将深度学习应用到目标检测上的算法.后面要讲到的