ORBSLAM2的运动估计简介 ORBSLAM2中的运动估计核心方法就是3D-2D的PNP,而在跟踪过程主要分为三种类型: 无运动模型的跟踪,即基于参考帧的跟踪: 基于匀速运动模型的跟踪: 重定位: 上述三种方案,我们只介绍前两种,重定位由于需要用到回环检测,我们会在之后讲解. PNP运动估计 在介绍ORBSLAM2的跟踪策略之前,我们先了解一下他所用的运动估计方法——PNP. PNP是一种将匹配点从三维空间投影到像平面并与观测数据计算误差来估计相机运动的方法,我们也管这种方法叫重投影误差.基于…

一. 通过对极约束并行计算F和H矩阵初始化 VO初始化目的是为了获得准确的帧间相对位姿,并通过三角化恢复出初始地图点.初始化方法要求适用于不同的场景(特别是平面场景),并且不要进行人为的干涉,例如选取视差大(large parallax)的场景(视差大代表相机移动会带来明显的图像变化,通常距离相机距离越远,距离相机光轴越近,视差越小).ORB-SLAM中并行计算了适用于平面场景的单应性矩阵H和一般场景下的基础矩阵F,然后通过打分选取合适的.ORB-SLAM的初始化要求是比较高的,只有在确定初始化…

首先要清楚ORB-SLAM视觉跟踪的原理,然后对tracking.cc中的函数逐个讲解 代码的前面部分是从配置文件中读取校准好的相机参数(内参和畸变参数,以及双目的深度测量设定),并且加载ORB特征点提取的参数(特征点数,金字塔层数,变化尺度,以及提取Fast关键点的阈值):以及四个线程之间锁的代码. 接下来是将从摄像头或者数据集读入的图像封装成Frame类型对象: 这里以单目为例,无论图片是RGB,BGR, 还是RGBA,BGRA,均转化为灰度图,放弃彩色信息.然后将当前读入帧封装为Frame…

最近在读ORB-SLAM的代码,虽然代码注释算比较多了,但各种类和变量互相引用,看起来有点痛苦.索性总结了一下Tracking部分的代码结构,希望能抓住主要思路,不掉坑里. 追踪 追踪部分的主要思路是在当前帧和(局部)地图之间寻找尽可能多的对应关系,来优化当前帧的位姿. 作者在追踪这部分主要用了几种模型:运动模型(Tracking with motion model).关键帧(Tracking with reference key frame)和重定位(Relocalization). 下面一一…

初始化完成后,对于相机获取当前图像mCurrentFrame,通过跟踪匹配上一帧mLastFrame特征点的方式,可以获取一个相机位姿的初始值:为了兼顾计算量和跟踪鲁棒性,处理了三种模型: 1. TrackWithMotionModel 2. TrackReferenceKeyFrame 3. Relocalization 这三种跟踪模型都是为了获取相机位姿一个粗略的初值,后面会通过跟踪局部地图TrackLocalMap对位姿进行BundleAdjustment(捆集调整),进一步优化位姿. 优…

单目初始化以及通过三角化恢复出地图点 单目的初始化有专门的初始化器,只有连续的两帧特征点均>100个才能够成功构建初始化器. ); 若成功获取满足特征点匹配条件的连续两帧,并行计算分解基础矩阵和单应矩阵(获取的点恰好位于同一个平面),得到帧间运动(位姿),vbTriangulated标记一组特征点能否进行三角化.mvIniP3D是cv::Point3f类型的一个容器,是个存放3D点的临时变量. 该函数对应Initialize.cpp文件,需要完成较多工作,后面再介绍. mpInitializer…

EPnP在ORB-SLAM中主要用于Tracking线程中的重定位Relocalization模块,需要通过当前关键帧Bow与候选帧匹配上的3D地图点,迅速建立当前相机的初始姿态. PnP问题解决了已知世界参考系下地图点以及相机参考系下投影点位置时3D-2D相机位姿估计问题,不需要使用对极约束(存在初始化,纯旋转和尺度问题,且一般需要8对点),可以在较少的匹配点(最少3对点,P3P方法)中获得较好的运动估计,是最重要的一种姿态估计方法.最后,如果知道世界参考系下的地图点,同时知道相机参考系下的地…

ORB-SLAM作为单目SLAM,其精度很大程度上决定于帧与帧之间的位姿优化的是否准确.因此优化(optimization)在ORB-SLAM里面扮演了很重要的角色.这一小节探讨一下ORB-SLAM里用到的优化. ORB-SLAM选用g2o作为图优化的方法,关于g2o可以参考http://www.cnblogs.com/gaoxiang12/p/5304272.html. 一.为什么要优化 因为摄像机标定(camera calibration)和追踪(tracking)的精度不够.摄像机标定的误…

ORB-SLAM是一种基于ORB特征的三维定位与地图构建算法(SLAM)[1].该算法由Raul Mur-Artal,J. M. M. Montiel和Juan D. Tardos于2015年发表在IEEE Transactions on Robotics.ORB-SLAM基于PTAM架构,增加了地图初始化和闭环检测的功能,优化了关键帧选取和地图构建的方法,在处理速度.追踪效果和地图精度上都取得了不错的效果.要注意ORB-SLAM构建的地图是稀疏的. ORB-SLAM一开始基于monocular…

ORB-SLAM程序提供了运行Monocular.Stereo和RGBD数据的程序.编译成功后,可以通过运行TUM的标准数据来验证程序是否成功.如果想自己测试一些数据,可以通过OpenCV提供的接口调起电脑的摄像头. 个人认为,ORB-SLAM是一个完整的单目SLAM实现,集合了当前流行的SLAM特性.作者的程序非常工程化,其中有诸多精度与运算量的权衡.具体总结如下. ORB-SLAM的优点: Tracking的平均时间约为20ms每帧,基本可以达到实时追踪(i5-5200,2.2GHz). 丢…