L-BFGS算法介绍

可以看出，拟牛顿法每次迭代只需要根据前次迭代的即可以计算出，不需要求出Hesse矩阵的逆。

2.4 L-BFGS（limited-memory BFGS）

BFGS算法中每次迭代计算需要前次迭代得到的矩阵，该矩阵的存储空间至少为N(N+1)/2，N为特征维数，对于高维的应用场景，需要的存储空间将是非常巨大的。L-BFGS的基本思想就是通过存储前m次迭代的少量数据来替代前一次的矩阵。令y=q，s=p，公式12可以改写成

公式13展开并取前m项的近似，可得

由于ρ、V、s、y这些变量都最终可以由q、p两个向量计算得到，因此，我们只需存储最后m次的q、p向量即可算出加上对角阵H0，总共需要存储2*m+1个N维向量（实际应用中m一般取4到7之间的值，因此需要存储的数据远小于Hesse矩阵）。

注：公式4中步长的确定需要使用一维搜索，顾名思义，一维搜索就是沿着直线方向寻找使得目标函数值最小的参数值。一维搜索具体又分为精确一维搜索和非精确一维搜索，具体可参看相关文献。

三、 其他相关方法

由于L-BFGS是建立在目标函数的2阶泰勒展开基础上的，其前提条件就是函数的2阶导不为0。在机器学习中一般如果用L2正则都是可以满足这个条件的。如果用的是L1正则，则目标函数可能出现2阶导为0的情况。对于使用L1正则的情况，可以使用OWL-QN方法（Orthant-Wise Limited-memory Quasi-Newton），它是基于L-BFGS修改的。

据说百度首创了Shooting算法，收敛速度比L-BFGS快得多，目前还不知道怎么做的。

此外，Chih-Jen Lin（LIBSVM作者）提出的信赖域牛顿方法（Trust Region Newton Method），其收敛速度也比L-BGFS快，他开发的另一个针对大规模线性分类的软件LIBLINEAR用的就是这种优化方法。

此外，Chih-Jen Lin（LIBSVM作者）提出的信赖域牛顿方法（Trust Region Newton Method），其收敛速度也比L-BGFS快，他开发的另一个针对大规模线性分类的软件LIBLINEAR用的就是这种优化方法。

免费领取验证码、内容安全、短信发送、直播点播体验包及云服务器等套餐

更多网易技术、产品、运营经验分享请访问网易云社区。

相关文章：
【推荐】 Spring Boot 学习系列（07）—properties文件读取
【推荐】 HTTP/2部署使用