BFGS方法

今天看了 Nocedal 写的Numerical Optimization 中关于BFGS方法的介绍。

BFGS方法有个近亲，叫做DFP方法。下面先介绍DFP方法。

这个方法的意图是找一种方法对Hessian进行近似，具体是，在迭代的每一步xk+1，让这一步的近似Hessian B能够表示出上一步xk的梯度，同时跟上一步的近似Hessian Bk尽可能相同。

BFGS反其道而行之， 近似Hessian的逆矩阵，其更新公式事实上跟DFP是对偶的。

BFGS方法若初始的B对称正定，且之后每次更新都是根据满足Wolfe条件的一维搜索作出，则可以保证每次更新之后的近似Hessian保持正定。

它可以逐步矫正不准确的Hessian，数值误差，舍入误差等对它影响不大（具体原理我也不清楚）。但这一切都是依赖于满足Wolfe条件的一维搜索。

为了提高效率，需要尽量减少一维搜索的函数求值次数。初始步长设为1，因为一般这样的步长容易被接受，另外可以适当降低一维搜索的精度，不要求准确找到此方向的最小值点。一般参数c1 = 10^-4,   c2 = 0.9 （参数的具体含义见书中相关章节）。

因此，下一步先实现一个一维搜索方法，再实现BFGS。