[原创]最优化/Optimization文章合集

转载请注明出处：https://www.codelast.com/

最优化（Optimization）是应用数学的一个分支，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。我一直对最优化比较感兴趣，所以写过一些相关的笔记，可能有不正确的地方，但请学术派、技术流们多多包涵。

转载请注明出处：https://www.codelast.com/

最优化（Optimization）是应用数学的一个分支，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。我一直对最优化比较感兴趣，所以写过一些相关的笔记，可能有不正确的地方，但请学术派、技术流们多多包涵。

➤ 拟牛顿法/Quasi-Newton，DFP算法/Davidon-Fletcher-Powell，及BFGS算法/Broyden-Fletcher-Goldfarb-Shanno

➤ 最速下降法/steepest descent，牛顿法/newton，共轭方向法/conjugate direction，共轭梯度法/conjugate gradient 及其他

➤ Ridders求导算法

➤ 选主元的高斯-约当（Gauss-Jordan）消元法解线性方程组/求逆矩阵
文章来源：http://www.codelast.com/
➤ 关于 最优化/Optimization 的一些概念解释

➤ 最小二乘的理论依据

➤ Powell共轭方向集方法(Powell's Conjugate Direction Method)的实现

➤ 黄金比例搜索算法（Golden Section Search）的实现

➤ LM(Levenberg-Marquard)算法的实现
文章来源：http://www.codelast.com/
➤ 一维搜索中的划界(Bracket)算法

➤ 漫谈line search中的Fibonacci搜索与黄金比例搜索

➤ 用“人话”解释不精确线搜索中的Armijo-Goldstein准则及Wolfe-Powell准则

➤ 信赖域(Trust Region)算法是怎么一回事

➤ 使用一维搜索(line search)的算法的收敛性

➤ line search中的重要定理 - 梯度与方向的点积为零

➤ Cauchy-Schwartz(柯西-许瓦兹)不等式复习

➤ 再谈 最速下降法/梯度法/Steepest Descent

➤ 再谈 牛顿法/Newton's Method In Optimization

➤ 再谈 共轭方向法/Conjugate Direction Method In Optimization

➤ To be added...

Tagged on: optimization    最优化    算法