1、前言

                               a、对于工程问题,一般描述为:从一些测量值(观测量)x 中估计参数 p?即x = f(p),

                             其中,x为测量值构成的向量,参数p为待求量,为了让模型能适应一般场景,这里p也为向量。

                             这是一个函数求解问题,可以使用Guass-Newton法进行求解,LM算法是对Newton法的改进。

                         c、如果函数f为线性函数,那这个问题就变成了最小二乘问题(请参阅我另一篇博客:最小二乘法),

                         d、这篇博客中讲解的LM法、Newton法主要用于函数f为非线性函数的情况。

              2、x = f(p)问题的Newton法求解

                               当迭代到第k次的时候得到参数,其中为残差:

                                             

                         对f(p)进行一阶泰勒公式展开,J为Jacobi(雅可比)矩阵,因为参数p是个向量,因此对p的求导即对p逐个元素求偏导:

                                             

                         计算第k+1次的残差:

                                             

                         通过第k次到第k+1次的迭代,

                         可以发现已经把非线性问题转化为线性求解,则最小二乘解为:

                                             

                                             

                         则k+1次的参数p为:

                                             

              3、加权Newton迭代

                               在Newton法中,所有的因变量都是等量加权的,除此之外,可以使用一个加权的矩阵对因变量进行加权。

                         例如,当测量矢量 x 满足一个协方差矩阵为的高斯分布,且希望最小化Mahalanobis距离

                                 当这个协方差矩阵可以是对角的,则表示 x 各坐标之间相互独立。

                                 当协方差矩阵为正定对称矩阵时,正规变为:

                                            

                                            

                                   备注:马氏距离

                         通过协方差反向传播,一阶近似下的协方差可以这么计算:

                                  

                         如果不可逆,那这个取逆过程为广义逆。

              4、Levenberg-Marquardt迭代(LM算法)

                               LM算法是对Newton迭代的改进。

                        (4)式的正规方程可以简化写成:

                         LM算法将上式改为:,其中,即N的对角线元素乘以,非对角线元素不变

                         的设定策略为:在初始化时,通常设定为

                                             如果通过解增量正规方程得到的导致误差减小,那么接受该增量并在下一次迭代前将除以10。

                                             反之,如果值导致误差增加,那么将乘以10并重新解增量正规方程,继续这一过程直到求出的一个误差下降的为止。

                                             对不同的重复地解增量正规方程直到求出一个可以接受的

                               LM算法的直观解释:当非常小时,该方法与Newton迭代本质相同。

                                                 当非常大时(本质上大于1),此时的非对角线元素相对于对角元素而言变得不重要,此时算法倾向于下降法。

                                                  LM算法在Newton迭代和下降方法之间无缝地移动,Newton法将使得算法在解的领域附近快速收敛,下降法使得算法在

                                                  运行困难时保证代价函数是下降的。

              5、Newton法(LM法)两个适用场景的转换

                               a、在上一篇博客Newton法(牛顿法 Newton Method)中讲述了牛顿法适用的两个场景:1、函数求解;2、目标函数的最优化求解

                             上一篇博客中的f(x)相当于这篇博客中的 x –f(p),上一篇博客中是为了求x,这篇博客中是已知x,求p,只是表述不同。

                               b、这两个场景有时候是可以相互转换的:

                             例如:函数求解问题 f(x) = 0,那也可以认为是求解 min||f(x)||,其中||.||表示二范数,即

                             例如:目标函数优化问题 min ||f(x)||,当这个优化问题的理论最优解就是为 0 时,那么这个问题也可以转化为求解 f(x) = 0

              自己所有博客汇总

Levenberg-Marquardt迭代(LM算法)-改进Guass-Newton法的更多相关文章

  1. LM算法

    最小二乘法的概念 最小二乘法的目标:求误差的最小平方和,对应有两种:线性和非线性. 线性最小二乘的解是closed-form即x=(A^T A)^{-1}A^Tb, 而非线性最小二乘没有closed- ...

  2. LM算法与非线性最小二乘问题

    摘录的一篇有关求解非线性最小二乘问题的算法--LM算法的文章,当中也加入了一些我个人在求解高精度最小二乘问题时候的一些感触: LM算法,全称为Levenberg-Marquard算法,它可用于解决非线 ...

  3. BP神经网络算法改进

    周志华机器学习BP改进 试设计一个算法,能通过动态调整学习率显著提升收敛速度,编程实现该算法,并选择两个UCI数据集与标准的BP算法进行实验比较. 1.方法设计 传统的BP算法改进主要有两类: - 启 ...

  4. 算法:Astar寻路算法改进,双向A*寻路算法

    早前写了一篇关于A*算法的文章:<算法:Astar寻路算法改进> 最近在写个js的UI框架,顺便实现了一个js版本的A*算法,与之前不同的是,该A*算法是个双向A*. 双向A*有什么好处呢 ...

  5. matlab实现高斯牛顿法、Levenberg–Marquardt方法

    高斯牛顿法: function [ x_ans ] = GaussNewton( xi, yi, ri) % input : x = the x vector of 3 points % y = th ...

  6. 【强化学习】DQN 算法改进

    DQN 算法改进 (一)Dueling DQN Dueling DQN 是一种基于 DQN 的改进算法.主要突破点:利用模型结构将值函数表示成更加细致的形式,这使得模型能够拥有更好的表现.下面给出公式 ...

  7. Newton法(牛顿法 Newton Method)

               1.牛顿法应用范围                          牛顿法主要有两个应用方向:1.目标函数最优化求解.例:已知 f(x)的表达形式,,求 ,及g(x)取最小值时 ...

  8. JVM探究 面试题 JVM的位置 三种JVM:HotSpot 新生区 Young/ New 养老区 Old 永久区 Perm 堆内存调优GC的算法有哪些?标记清除法,标记压缩,复制算法,引用计数法

    JVM探究 面试题: 请你弹弹你对JVM的理解?Java8虚拟机和之前的变化更新? 什么是OOM?什么是栈溢出StackOverFlowError?怎么分析 JVM的常用调优参数有哪些? 内存快照如何 ...

  9. 算法时间复杂度的表示法O(n²)、O(n)、O(1)、O(nlogn)等是什么意思?

    Java中  Set 和 List 集合  的contains()方法,检查数组链表中是否包含某元素检查数组链表中是否包含某元素,使用 Set 而不使用 List  的原因是效率问题, 前者的 set ...

随机推荐

  1. HaspMap和ConcurrentHashMap

    参考自:http://www.importnew.com/28263.html HaspMap和ConcurrentHashMap(康科瑞特哈希迈普) Java7 HashMap 不支持并发操作,Ha ...

  2. CodeForces 840C - On the Bench | Codeforces Round #429 (Div. 1)

    思路来自FXXL中的某个链接 /* CodeForces 840C - On the Bench [ DP ] | Codeforces Round #429 (Div. 1) 题意: 给出一个数组, ...

  3. 发布VS源码

    发布VS源码步奏 先将Web.config设置修改一下   IP设置成点    文件名称设置成文件夹的名称,右键点击项目,点发布   勾选删除现有文件,点击发布 打开文件加  将文件解压成压缩包, 打 ...

  4. LOJ P10149 凸多边形的划分 题解

    Analysis 区间dp+压位高精 dp五分钟,高精两小时 #include<iostream> #include<cstdio> #include<cstring&g ...

  5. luogu 3248

    直接向原树加子树是不可能的考虑重新建立这样一颗树,我们称之为 S 树 将每次需要添加的子树看做一个点,称之为 S 点 新建的树就是由这些点构成的,那么树的大小是合理的 初始节点为整棵原树由于添加的子树 ...

  6. Cogs 13. 运输问题4(费用流)

    运输问题4 ★★☆ 输入文件:maxflowd.in 输出文件:maxflowd.out 简单对比 时间限制:1 s 内存限制:128 MB [问题描述] 一个工厂每天生产若干商品,需运输到销售部门进 ...

  7. vue学习--vue项目端口不固定,无法指定问题

    写于20190819 前面是自己解决的思路,后面是解决方法以及需要记住的一些更改 package.json 之前只知道vue项目是基于node.js,对node.js了解不是很深入,项目的开始文件是p ...

  8. Concurrent初探 --- Atomic 无锁

    一.CAS算法 Compare And Swap,CAS算法的过程是这样:它包含3个参数CAS(V,E,N).V表示要更新的变量,E表示预期值,N表示新值.仅当V值等于E值时,才会将V的值设为N,如果 ...

  9. (转)Linux 磁盘IO性能测试

    Linux 如何测试 IO 性能(磁盘读写速度) 这几天做MySQL性能测试,偌大一个公司,找几台性能测试机器都很纠结,终于协调到两台,IO的性能如何还不知道.数据库属于IO密集型的应用,所以还是先评 ...

  10. CF293E Close Vertice

    如果没有边数限制就是裸的淀粉质,如果有了加上一个树状数组记边数就行了. #include<stdio.h> #include<stdlib.h> #include<str ...