这里有一个细节,我想了很久才想明白,DSO 中的 residual 联系了两个关键帧之间的相对位姿,但是最终需要优化帧的绝对位姿,中间的导数怎么转换?这里使用的是李群.李代数中的Adjoint. 参考 http://ethaneade.com/lie.pdf . 需要变通一下,字母太多,表达不方便.此处 \(\xi\) 表示 se(3) 和 affLight 参数. Adjoint 在其中的使用如下(根据代码推断,具体数学推导看我的博客<Adjoint of SE(3)>): \[\begin…

5 "step"计算 参考<DSO windowed optimization 公式>,计算各个优化变量的增加量. 公式再写一下: \[\begin{align} \begin{bmatrix} H_{\rho\rho} & H_{\rho X} \\ H_{X\rho} & H_{XX} \end{bmatrix} \begin{bmatrix} \delta \rho \\ \delta X \end{bmatrix} &= - \begin{b…

4 Schur Complement 部分信息计算 参考<DSO windowed optimization 公式>,Schur Complement 部分指 Hsc(\(H_{X\rho} H_{\rho\rho}^{-1} H_{\rho X}\))和 bsc(\(H_{X\rho} H_{\rho\rho}^{-1} J_{\rho}^T r\)). 4.1 AccumulatedSCHessianSSE::addPoint()优化的局部信息计算 最终得到的 Hsc 是 68x68 的矩…

3 非 Schur Complement 部分信息计算 参考<DSO windowed optimization 公式>,非Schur Complement 部分指 \(H_{XX}\) 和 \(J^T_{X}r\). 3.1 AccumulatedTopHessianSSE::addPoint()优化的局部信息计算 EnergyFunctional::accumulateAF_MT() 与 EnergyFunctional::accumulateLF_MT() 遍历每一个点,对每一个点调用…

这里不想解释怎么 marginalize,什么是 First-Estimates Jacobian (FEJ).这里只看看代码,看看Hessian矩阵是怎么构造出来的. 1 优化流程 整个优化过程,也是 Levenberg–Marquardt 的优化过程,这个优化过程在函数 FullSystem::makeKeyFrame() 中被调用,也是在确定当前帧成为关键帧,并且用当前帧激活了窗口中其他帧的 immaturePoints 之后.过程在 FullSystem::optimize() 函数中.…

以前看的书都提到 SE(3) 和 se(3) 的 Adjoint,但是并没有讲这个东西是干什么用的,只是给了一堆性质.这东西来自群论. 参考 Lie Groups for 2D and 3D Transformations 的 2.3. In Lie groups, it is often necessary to transform a tangent vector from the tangent space around one element to the tangent space.…

开篇第一篇就写一个paper reading吧,用markdown+vim写东西切换中英文挺麻烦的,有些就偷懒都用英文写了. Stereo DSO: Large-Scale Direct Sparse Visual Odometry with Stereo Cameras Abstract Optimization objectives: intrinsic/extrinsic parameters of all keyframes all selected pixels' depth Inte…

1. Abstract 通过一种Unified Omnidirectional Model作为投影方程. 这种方式可以使用图像的所有内容包括有强畸变的区域,而现存的视觉里程计方案只能修正或者切掉来使用部分图像. 关键帧窗口中的模型参数是被联合优化的,包括相机的内外参,3D地图点,仿射亮度参数. 因为大FoV,帧间的重合区域更大,并且更spatially distributed. 我们的算法更牛逼. 1. Introduction 我们用了一个unified omnidirectional mod…

课程主页:http://cs231n.stanford.edu/ loss function: -Multiclass SVM loss: 表示实际应该属于的类别的score.因此,可以发现,如果实际所属的类别score越小,那么loss function算出来的就会越大,这样才符合常理. 最后取平均: *问题: 1⃣️: 因为include j＝y_i其实就是最后加上常数1,对结果没有任何影响. 2⃣️: 因为mean和sum成正比,因此对最后的结果都没影响,所以为了方便计算,无需求mean.…

在线最优化求解(Online Optimization)之五:FTRL 在上一篇博文中中我们从原理上定性比较了L1-FOBOS和L1-RDA在稀疏性上的表现.有实验证明,L1-FOBOS这一类基于梯度下降的方法有比较高的精度,但是L1-RDA却能在损失一定精度的情况下产生更好的稀疏性.那么这两者的优点能不能在一个算法上体现出来?这就是FTRL要解决的问题. FTRL(Follow the Regularized Leader)是由Google的H. Brendan McMahan在2010年提出…