目标检测之基础hessian matrix ---海森矩阵

就是海赛（海色）矩阵，在网上搜就有。

在数学中，海色矩阵是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵，

Hessian矩阵是多维变量函数的二阶偏导数矩阵，H（i,j)=d^2(f)/(d(xi)d(xj))

它是对称的。如果是正定的的可用导数=0的变量组确定它的极小值，负定的确定它的极大值，否则无法确定极值。 

1.极值（极大值或极小值）的定义

设有定义在区域D  Rn上的函数 y=f(x)=f(x1,...,xn) . 对于区域D的一内点x0=(x10,...,xn0)，若存在x0的一个邻域UD，使得

             f(x)≤f(x0)     x∈U

     则称x0是f(x)的极大点，f(x0)称为f(x)的极大值.

     相反，如

             f(x)≥f(x0)     x∈U

     则称x0是f(x)的极小点，f(x0)称为f(x)的极小值.

2.海赛（Hessian）矩阵

  设函数y=f(x)=f(x1,...,xn)在点x0=(x10,...,xn0)的一个邻域内所有二阶偏导数连续，则称下列矩阵H为f(x)在x0点的海赛矩阵.

显然海赛矩阵是对称的，从而它的所有特征根均为实数.

3.极值

存在的必要条件

若x0是f(x)的极值点，如果存在，则

     进一步设在一个邻域内所有二阶导数连续，H为在点x0的海赛矩阵.则

    （1）x0是f(x)的极小点  H≥0，即H 的特征根均为非负.

    （2）x0是f(x)的极大点H≤0，即H的特征根为非正.

若在x0点有，则称x0是f(x)的临界点，f(x0)为临界值.

4.极值存在的充分条件

  设f(x)在x0的一个邻域内所有二阶偏导数连续，且x0是f(x)的临界点（即），H为f(x)在x0点的海赛矩阵，则

  （1）H>0，即H为正定矩阵x0是f(x)的极小点.

  （2）H<0，即H为负定矩阵x0是f(x)的极大点.

  （3）H的特征根有正有负x0不是f(x)的极值点.

  （4）其余情况，则不能判定x0是或者不是f(x)的极值点.

5.二元函数极值存在的充分条件

  作为4的特例。观察二元函数极值存在的充分条件.

  设z=f(x,y)在(x0,y0)的一个邻域内所有二阶偏导数连续，  且,

  记 .

  那么，海赛矩阵.

  （1）若A>0，detH=AC-B2>0，则H正定，从而(x0,y0)是f(x,y)的极小点.

  （2）若A<0，detH=AC-B2>0，则H负定，从而(x0,y0)是f(x,y)的极大点.

  （3）若detH=AC-B2<0，则H的特征根有正有负，从而(x0,y0)不是f(x,y)的极值点.

  （4）若detH=AC-B2=0，则不能判定(x0,y0)是否为f(x,y)的极值点.

6.条件极值

求函数      y=f(x)=f(x1,...,xn)         x∈DRn                    （1），

     在约束条件：qk(x)=qk(x1,...,xn)=0，k=1,...,m，m<n             （2），

     下的极值，称为条件极值问题.

     此处，假设雅可比矩阵的秩在D内处处为m，即保证m个约束条件是独立的.

直接代入法

     从约束条件（2）中直接解出m个变量，代入到（1）中，将问题化为求n-m个变量函数的直接极值问题.

拉格朗日（Lagrange）乘数法

     引入拉格朗日函数：

                    （3）

     其中λ1，...，λm称为拉格朗日乘子，是待定常数.

     条件极值问题（1）和（2）可化为求拉格朗日函数（3）的直接极值问题.

    （1) 若x0为(1)和(2)的条件极值点,则x0满足方程组

满足上述方程组的点称为条件极值问题的临界点.显然极值点为临界点,而临界点未必一定是极值点.

    （2)若x0是临界点, HL为拉格朗日函数L在x0点的海赛矩阵, 则可按4中给出的极值存在的充分条件,由HL的正定、负定或不定,判断x0是极小点、极大点或不是极值点.
http://zhidao.baidu.com/link?url=p1cPMKHMIGidZRYfTDDP5RwTW9sAe0xPk4Y-DQR03htxWCNFElxq1Ql809b17ROi8GKZctHnReZadk_xw5Qpwa 
http://blog.csdn.net/memray/article/details/9174705 雅可比和海森矩阵的对比
http://zh.wikipedia.org/wiki/海森矩阵 wiki百科