论文阅读 ORBSLAM3
这周末ORB-SLAM3出现了.先看了看论文.IMU部分没细看,后面补上.
Abstract
- 视觉,视觉惯导,多地图SLAM系统
- 支持单目/立体/RGBD相机
- 支持pinhole/鱼眼相机
基于特征/紧耦合/视觉惯导,基于最大后验估计的SLAM系统,即使是在IMU的初始化阶段。
我们的系统更准2-5倍。
多地图系统,基于新的场景识别,提升了recall。
1. Introduction
- short-term data association 前段配
- mid-tem data assocation 后端配
- long-term data association 回环配(MGI配)
我们还提出了multi-map data association。
- ORB-SLAM Atlas: Atlas可以代表一组非连续的地图。可以用于,场景识别,相机重定位,回环检测,和地图融合。
- Abstract camera representation:感觉就是我们的mcamera。
2. Related Work
它可承认LK比描述子匹配稍微鲁邦一点。
我们的ORB-SLAM3比VINS-Mono准2.6倍,在单目VIO配置下。
3. System Overview
- Atlas
- Tracking thread
- Local Maping thread 在有IMU的时候,IMU参数是初始化,然后用MAP-estimation refine。
- Loop and map merging thread
4. Camera Model
我们的目标是抽象所有的相机模型,提取所有相机模型相关的特性/函数(投影/反投影/雅克比..)。
A. Relocalization
ORB2中用ePNP,但是需要pinhole相机模型。我们用了MLPnP【76】,和相机模型解耦了。
B. Non-recitified Stereo SLAM
立体图像都转换成pinhole,一样的焦距,共平面,而且在水平极线上。
现在不了,泛化性更强。
- 两个相机之间是SE3的关系(相机外参)
- 可选择:有共视区域
5. Visual-Inertial SLAM
A.基础
状态向量:
\]
整个优化问题:
\]
它认为inertial残差不需要huber norm,因为不存在错配。
B. IMU初始化
有一些系统比如VI-DSO[46]尝试从scratch VI BA来解决,sidestepping(回避)一个初始化阶段。
我们的insights:
- 纯单目的SLAM可以提供很准的初始地图,但是scale未知,解决视觉-only的问题会提升IMU初始化。
- 不要使用隐式的BA表达,显式的优化问题可以使得尺度更快收敛。
- 在IMU初始化阶段忽略传感器不确定性的话会产生很大的不可预测的误差。
- Vision-only MAP Estimation: 在初始的2秒初始化单目SLAM,以4Hz插KF,这样有10个pose和百余个点。
- Inertial-only MAP Estimation:
inertial变量:
\]
\(s \in R^+\) 是尺度,\(R_{wg}\in SO3\) 是重力方向,用两个角度表示,重力向量在世界系中是\(g=R_{wg}g_I\),\(g_I = (0, 0, G)^T\)。\(\overline{\mathbf{v}}_{0: k} \in \mathbb{R}^{3}\) 是up-to-scale的body速度(从第一到最后的关键帧),从\(\overline{\mathbf{T}}_{0: k}\) 初始估计。
。。。
C. Tracking and Mapping
在一些特殊的case,比如缓慢的移动没有提供好的关于inertial参数的观测性,初始化可能收敛在好的结果。我们提出了一个变种的inertial-only的优化,它包含了所有插入的关键字,但是只优化尺度和重力方向。在这种情况下,biases是常量的假设就没有了,我们会给每个帧估计,然后修正。这个优化很高效,在local mapping线程里每10秒做一次,知道有100多个关键字或者跑了75秒以上。
D. Robustness to tracking loss
- 短时的丢失:用IMU来估计当前状态,然后投影匹配。
- 长时丢失:初始化一个新的visual-inertial map。
6. Map Merging and Loop Closing
A. Place Recognition
为了获得高recall,每个关键字在dbow2 database 查询。为了获得100%的准确,我们走几何验证。
如果 几个候选,我们检查最优比次优。
- 在有IMU的时候,再检查一下重力方向。
B. Visual Map Merging
当场景识别产生了multi-map的数据关联,KF \(K_a\) (当前地图\(M_a\),a表示active)- KF \(K_m\) (Atlas \(M_m\)),相对变换是\(T_{am}\)。
- Welding window assembly
- 地图融合
- Welding bundle adjustment 弄一个local BA
- Pose-graph optimization
C. Visual-Inertial Map Merging
大差不差吧。
D. Loop Closing
7. Experiment Result
- 测了 单目/单目-IMU/立体/立体-IMU
A. single-session SLAM on EuRoC
单目/立体:ORB3比2更准是因为回环算法 - 更早的回环,更多的mid-term匹配。有趣的是,DSM获得次优的表现因为使用了mid-term的匹配,即使没有回环。
单目-IMU:ORB3比VI-DSO和VINs-Mono准两倍,说明了mid-term和long-term数据关联的优势。
双目-IMU:ORB3比OKVIS,VINs-Fusion和Kimera好很多。
B. Visual-Inertial SLAM on TUM-VI
在单目提1500个点,双目是一张图1000个点。
。。。
C. Multi-session SLAM
。。。
8. Conclusions
描述子感觉可以解决mid/long term的匹配问题,但是tracking没有LK鲁邦。
一个有趣的线是研发光度技术来解决4种数据关联问题。
其他没啥。
论文阅读 ORBSLAM3的更多相关文章
- 论文阅读(Xiang Bai——【PAMI2017】An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition)
白翔的CRNN论文阅读 1. 论文题目 Xiang Bai--[PAMI2017]An End-to-End Trainable Neural Network for Image-based Seq ...
- BITED数学建模七日谈之三:怎样进行论文阅读
前两天,我和大家谈了如何阅读教材和备战数模比赛应该积累的内容,本文进入到数学建模七日谈第三天:怎样进行论文阅读. 大家也许看过大量的数学模型的书籍,学过很多相关的课程,但是若没有真刀真枪地看过论文,进 ...
- 论文阅读笔记 - YARN : Architecture of Next Generation Apache Hadoop MapReduceFramework
作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 更多论文阅读笔记 http:/ ...
- 论文阅读笔记 - Mesos: A Platform for Fine-Grained ResourceSharing in the Data Center
作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 更多论文阅读笔记 http:/ ...
- Deep Reinforcement Learning for Dialogue Generation 论文阅读
本文来自李纪为博士的论文 Deep Reinforcement Learning for Dialogue Generation. 1,概述 当前在闲聊机器人中的主要技术框架都是seq2seq模型.但 ...
- 论文阅读笔记 Word Embeddings A Survey
论文阅读笔记 Word Embeddings A Survey 收获 Word Embedding 的定义 dense, distributed, fixed-length word vectors, ...
- 论文阅读笔记六:FCN:Fully Convolutional Networks for Semantic Segmentation(CVPR2015)
今天来看一看一个比较经典的语义分割网络,那就是FCN,全称如题,原英文论文网址:https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn ...
- 论文阅读笔记 Improved Word Representation Learning with Sememes
论文阅读笔记 Improved Word Representation Learning with Sememes 一句话概括本文工作 使用词汇资源--知网--来提升词嵌入的表征能力,并提出了三种基于 ...
- 论文阅读:Prominent Object Detection and Recognition: A Saliency-based Pipeline
论文阅读:Prominent Object Detection and Recognition: A Saliency-based Pipeline 如上图所示,本文旨在解决一个问题:给定一张图像, ...
随机推荐
- Spring Aware介绍
读完这篇文章你将会收获到 Aware 的使用和介绍 BeanFactoryAware 的触发时机 ApplicationContextAware 的触发时机以及它通过扩展 BeanPostProces ...
- node-koa
什么是koa 基于node.js 平台的下一代web开发框架 async await npm install --save koa npm install --save koa-router ctx. ...
- CF796C Bank Hacking 题解
洛谷链接 题目 Although Inzane successfully found his beloved bone, Zane, his owner, has yet to return. To ...
- java 怎样 改变 数组元素的值
简介 (Introduction): 背景 需要解析Object数组中的数据,将数据(mintime)进行修改,改为(maxtime),修改后,生成新的对象 结构图 核心 对于Object数组的概念理 ...
- EOS基础全家桶(十五)智能合约进阶2
简介 今天我们继续补充智能合约的进阶使用技巧,这次的主题是交易,合约内我们除了可以发起内联action的调用,很多使用还需要直接调用其他的合约action或者以交易的形式调用自身的action. 发起 ...
- ES6模块与CommonJS模块有什么区别?
ES6 Module和CommonJS模块的区别: CommonJS是对模块的浅拷贝,ES6 Module是对模块的引用,即ES6 Module只存只读,不能改变其值,具体点就是指针指向不能变,类似c ...
- redux中的reducer为什么必须(最好)是纯函数
为什么reducer最好是纯函数? 首先你得看看文档怎么说reducer的作用的,‘接收旧的 state 和 action,返回新的 state’,他起的是一个对数据做简单处理后返回state的作用. ...
- MySQL入门(alter语法 与 外键)
MySQL入门(三) 字段的修改.添加.与删除 修改表字段使用alter table语句,谨记! create table tf1( id int primary key auto_increment ...
- 数据分析06 /pandas高级操作相关案例:人口案例分析、2012美国大选献金项目数据分析
数据分析06 /pandas高级操作相关案例:人口案例分析.2012美国大选献金项目数据分析 目录 数据分析06 /pandas高级操作相关案例:人口案例分析.2012美国大选献金项目数据分析 1. ...
- 机器学习实战基础(十五):sklearn中的数据预处理和特征工程(八)特征选择 之 Filter过滤法(二) 相关性过滤
相关性过滤 方差挑选完毕之后,我们就要考虑下一个问题:相关性了. 我们希望选出与标签相关且有意义的特征,因为这样的特征能够为我们提供大量信息.如果特征与标签无关,那只会白白浪费我们的计算内存,可能还会 ...