ORB-SLAM是一种基于ORB特征的三维定位与地图构建算法(SLAM)[1].该算法由Raul Mur-Artal,J. M. M. Montiel和Juan D. Tardos于2015年发表在IEEE Transactions on Robotics.ORB-SLAM基于PTAM架构,增加了地图初始化和闭环检测的功能,优化了关键帧选取和地图构建的方法,在处理速度.追踪效果和地图精度上都取得了不错的效果.要注意ORB-SLAM构建的地图是稀疏的. ORB-SLAM一开始基于monocular

ORB-SLAM作为单目SLAM,其精度很大程度上决定于帧与帧之间的位姿优化的是否准确.因此优化(optimization)在ORB-SLAM里面扮演了很重要的角色.这一小节探讨一下ORB-SLAM里用到的优化. ORB-SLAM选用g2o作为图优化的方法,关于g2o可以参考http://www.cnblogs.com/gaoxiang12/p/5304272.html. 一.为什么要优化 因为摄像机标定(camera calibration)和追踪(tracking)的精度不够.摄像机标定的误

ORB-SLAM程序提供了运行Monocular.Stereo和RGBD数据的程序.编译成功后,可以通过运行TUM的标准数据来验证程序是否成功.如果想自己测试一些数据,可以通过OpenCV提供的接口调起电脑的摄像头. 个人认为,ORB-SLAM是一个完整的单目SLAM实现,集合了当前流行的SLAM特性.作者的程序非常工程化,其中有诸多精度与运算量的权衡.具体总结如下. ORB-SLAM的优点: Tracking的平均时间约为20ms每帧,基本可以达到实时追踪(i5-5200,2.2GHz). 丢

单目SLAM地图初始化的目标是构建初始的三维点云.由于不能仅仅从单帧得到深度信息,因此需要从图像序列中选取两帧以上的图像,估计摄像机姿态并重建出初始的三维点云. ORB-SLAM中提到,地图初始化常见的方法有三种. 方法一 追踪一个已知物体.单帧图像的每一个点都对应于空间的一条射线.通过不同角度不同位置扫描同一个物体,期望能够将三维点的不确定性缩小到可接受的范围. 方法二 基于假设空间存在一个平面物体,选取两帧不同位置的图像,通过计算Homography来估计位姿.这类方法在视差较小或者平面上的

最近在读ORB-SLAM的代码,虽然代码注释算比较多了,但各种类和变量互相引用,看起来有点痛苦.索性总结了一下Tracking部分的代码结构,希望能抓住主要思路,不掉坑里. 追踪 追踪部分的主要思路是在当前帧和(局部)地图之间寻找尽可能多的对应关系,来优化当前帧的位姿. 作者在追踪这部分主要用了几种模型:运动模型(Tracking with motion model).关键帧(Tracking with reference key frame)和重定位(Relocalization). 下面一一

主要参考http://blog.csdn.net/dourenyin/article/details/48055441 1.编译g2o的过程中, 先是出现Eigen3依赖项的问题,要求Eigen3最低版本是3.1.0,而我的ROS上的版本是3.0.5. 于是下载了一个3.2.7的包进行编译并安装. 执行make命令,又出现如下两个错误. 解决方法:通过命令查看 $ gcc -march=native -Q --help=target | grep march 接下来修改CMakelists.tx

1. 编译完成之后就可以使用了,按照说明我们可以知道,首先开启roscore

1.下载代码   https://github.com/raulmur/ORB_SLAM/    (同时也可以看看作者的牛叉论文,我是打算先用代码,再回头看论文) 2.打开后如下 就好像是用一件新产品一样,我们首先要看一下说明书“README.md”, README.md介绍了很多关于这个工程的东西,比如作者,发表的论文,研究的人员,代码的下载以及更新 那么我们首先从有用的信息开始操作:(备注:以下内容都是我的个人理解,都是别人的东西,我拿来学习而已) 3.解决依赖项 3.1 Boost   :

ORBSLAM2的关键帧简介 图像插入频率过高会导致信息冗余度快速增加,而这些冗余的信息对系统的精度却十分有限,甚至没有提高,反而消耗了更多的计算资源.这等于吃力不讨好. 关键帧的目的在于,适当地降低信息冗余度,减少计算机资源的损耗,保证系统的平稳运行. ORBSLAM2也是沿袭PTAM的方案,将定位和建图分成两个线程,不过ORBSLAM2还增加了回环这个线程,在关键帧的问题上做了更灵活的处理,使得系统的跟踪更流畅和稳定. 接下来我们将按照ORBSLAM2源码中的方案将内容分成两个部分进行介绍:

之前研究过一些回环检测的内容,首先要看的自然是用词袋回环的鼻祖和正当继承人(没有冒犯VINS和LDSO的意思)ORB-SLAM.下面是我的代码注释.因为代码都是自己手打的,不是在源码上注释的,所以一些我觉得不是太重要的被略过了,可能也会有一些typo. ORB的回环策略比较偏向seq-SLAM的思路,通过共视帧打包的关系,比较每个包的相似值,而非只是关注单帧和单帧的匹配,这个思路是比较合适的,但是VINS和LDSO两位后来者用实际行动证明了我不太看中你这种思路,两个都没有用.后续我会介绍一些VI

...相机标定 calibration 基本就是做CV 的常识 ORBSlam源码:

初始化时需要求出的变量:相机和imu外参r t.重力g.尺度s.陀螺仪和加速度计偏置ba bg. 下面对两种算法初始化的详细步骤进行对比: 求陀螺仪偏置bg 求解公式相同,求解方法不同.公式如下,VI ORB-SLAM使用图优化的方式. Vector3d Optimizer::OptimizeInitialGyroBias(const vector<cv::Mat>& vTwc, const vector<IMUPreintegrator>& vImuPreInt)

环境:Ubuntu 14.04 + ROS indigo + ORB-SLAM2 (Thinkpad T460s) 1. 安装ORB-SLAM: Pangolin Pangolin有一些依赖库,按照提示安装好 git clone https://github.com/stevenlovegrove/Pangolin.git cd Pangolin mkdir build cd build cmake .. make -j OpenCV 2.4.8版本,2.4.11版本均可以用,3.2版本没有测试

一. 通过对极约束并行计算F和H矩阵初始化 VO初始化目的是为了获得准确的帧间相对位姿,并通过三角化恢复出初始地图点.初始化方法要求适用于不同的场景(特别是平面场景),并且不要进行人为的干涉,例如选取视差大(large parallax)的场景(视差大代表相机移动会带来明显的图像变化,通常距离相机距离越远,距离相机光轴越近,视差越小).ORB-SLAM中并行计算了适用于平面场景的单应性矩阵H和一般场景下的基础矩阵F,然后通过打分选取合适的.ORB-SLAM的初始化要求是比较高的,只有在确定初始化

ORB-SLAM中优化使用g2o库,先复习一下g2o的用法,上类图 其中SparseOptimizer就是我们需要维护的优化求解器,他是一个优化图,也是一个超图(包含若干顶点和一元二元多元边),怎样定义图的顶点(优化变量_estimate)和边(误差项_error)是用户需要考虑的问题,可以从g2o/types查找是否已经有定义好的顶点或边,若没有,需要自己去实现. 自己实现的时候注意,基本都是去继承BaseVertex<D,T>; BaseUnaryEdge<D,E,VertexXi&

EPnP在ORB-SLAM中主要用于Tracking线程中的重定位Relocalization模块,需要通过当前关键帧Bow与候选帧匹配上的3D地图点,迅速建立当前相机的初始姿态. PnP问题解决了已知世界参考系下地图点以及相机参考系下投影点位置时3D-2D相机位姿估计问题,不需要使用对极约束(存在初始化,纯旋转和尺度问题,且一般需要8对点),可以在较少的匹配点(最少3对点,P3P方法)中获得较好的运动估计,是最重要的一种姿态估计方法.最后,如果知道世界参考系下的地图点,同时知道相机参考系下的地

主要参考这篇论文 Horn B K P. Closed-form solution of absolute orientation using unit quaternions[J]. JOSA A, 1987, 4(4): 629-642. 在单目闭环检测时,会将当前关键帧地图点和闭环关键帧地图点进行Bow匹配,匹配上的两组3D点集之间可以用RANSAS求解Sim3变换,从而获得当前关键帧相对于闭环关键帧的Sim3,然后传播到相连关键者,并调整地图点,从而完成闭环调整. 主要问题就是如何如何计

LocalMapping作用是将Tracking中送来的关键帧放在mlNewKeyFrame列表中:处理新关键帧,地图点检查剔除,生成新地图点,Local BA,关键帧剔除.主要工作在于维护局部地图,也就是SLAM中的Mapping. 1. 处理新关键帧:ProcessNewKeyFrame() 做了三件事: a. 计算当前关键帧Bow,便于后面三角化恢复新地图点: b. 将TrackLocalMap中跟踪局部地图匹配上的地图点绑定到当前关键帧(在Tracking线程中只是通过匹配进行局部地图跟

初始化完成后,对于相机获取当前图像mCurrentFrame,通过跟踪匹配上一帧mLastFrame特征点的方式,可以获取一个相机位姿的初始值:为了兼顾计算量和跟踪鲁棒性,处理了三种模型: 1. TrackWithMotionModel 2. TrackReferenceKeyFrame 3. Relocalization 这三种跟踪模型都是为了获取相机位姿一个粗略的初值,后面会通过跟踪局部地图TrackLocalMap对位姿进行BundleAdjustment(捆集调整),进一步优化位姿. 优

首先要清楚ORB-SLAM视觉跟踪的原理,然后对tracking.cc中的函数逐个讲解 代码的前面部分是从配置文件中读取校准好的相机参数(内参和畸变参数,以及双目的深度测量设定),并且加载ORB特征点提取的参数(特征点数,金字塔层数,变化尺度,以及提取Fast关键点的阈值):以及四个线程之间锁的代码. 接下来是将从摄像头或者数据集读入的图像封装成Frame类型对象: 这里以单目为例,无论图片是RGB,BGR, 还是RGBA,BGRA,均转化为灰度图,放弃彩色信息.然后将当前读入帧封装为Frame