论文阅读: Infrastructure-Based Calibration of a Multi-Camera Rig

Abstract

在线标定很重要．

但是目前的方法都计算量都很高．

我们的方案不需要标定板之类的东西．

我们的方案不需要假设相机有重合的FOV,也不需要任何的初始猜测. 当相机模组行驶穿过之前建过地图的区域, 我们就用地图和同步的相机图像匹配. 最后我们找到相机位姿和内点2D-3D匹配.

1. Introduction

机器人系统的大量普及会引起一系列本质的问题--关于long-term autonomy of robotic systems.

我们提出Infrastructure-Based Calibration.

标定只有在相机内/外参允许2D点和3D点准确关联的时候才准确.

环境因素例如温度变化, 震动等会让相机外参比内参比起起始值偏移容易的多.

这这篇文章中, 我们集中估计相机外参, 然后假设相机内参是常数.

我们展现了一个自标定算法对于特殊运动的需求来bootstrap这个过程

---

SLAM-based的方法虽然不需要一个先验地图, 但是需要一个帧间匹配的穷举搜索, 还需要回环检测(有时候会失效).

---

通过基于先验地图, 我们移除了寻找帧间匹配和回环的需求, 我们也不需要做全局BA. 我们方案更加简单, 鲁邦, 计算更加轻量.

"The world is a giant chessboard."

2. Platform

我们用Kannala-Brandt camera model. 有8个参数, \(k_1, k_2, k_3, k_4, m_u, m_v, u_0, v_0\)
\[
\begin{aligned} \theta &=\arccos \frac{Z}{\|P\|} \\ \phi &=\arctan \frac{Y}{X} \\ r(\theta) &=\theta+k_{1} \theta^{3}+k_{2} \theta^{5}+k_{3} \theta^{7}+k_{4} \theta^{9} \end{aligned}
\]

\[
\begin{array}{l}{\left[\begin{array}{l}{x} \\ {y}\end{array}\right]=r(\theta)\left[\begin{array}{l}{\cos \phi} \\ {\sin \phi}\end{array}\right]} \\ {\left[\begin{array}{l}{u} \\ {v} \\ {1}\end{array}\right]=\left[\begin{array}{ccc}{m_{u}} & {0} & {u_{0}} \\ {0} & {m_{v}} & {v_{0}} \\ {0} & {0} & {1}\end{array}\right]\left[\begin{array}{l}{x} \\ {y} \\ {1}\end{array}\right]}\end{array}
\]

这里, \(r(\theta)\)是图像点和主点在归一化平面的距离.

当然, 给定图像点, 我们也可以计算对应点光线.
\[
\left[\begin{array}{l}{x} \\ {y} \\ {1}\end{array}\right]=\left[\begin{array}{ccc}{m_{u}} & {0} & {u_{0}} \\ {0} & {m_{v}} & {v_{0}} \\ {0} & {0} & {1}\end{array}\right]^{-1}\left[\begin{array}{l}{u} \\ {v} \\ {1}\end{array}\right]
\]

\[
\begin{aligned} d &=\sqrt{x^{2}+y^{2}} \\ &=\theta+k_{1} \theta^{3}+k_{2} \theta^{5}+k_{3} \theta^{7}+k_{4} \theta^{9} \end{aligned}
\]

\[
\begin{aligned} \phi &=\left\{\begin{array}{ll}{0} & {\text { if } d=0} \\ {\arctan \frac{y}{x}} & {\text { otherwise }}\end{array}\right.\\\left[\begin{array}{l}{X} \\ {Y} \\ {Z}\end{array}\right] &=\left[\begin{array}{c}{\sin \theta \cos \phi} \\ {\sin \theta \sin \phi} \\ {\cos \theta}\end{array}\right] \end{aligned}
\]

初始的时候, 我们设置
\[
k_{1}=k_{2}=k_{3}=k_{4}=0, m_{u}=m_{v}=f
\]

\[
u_{0}=\frac{w}{2} \text { and } v_{0}=\frac{h}{2}
\]

---

4. Infrastructure-Based Calibration

我们用一个标定已经进行过的来建立一个稀疏特征图.

非线性优化步骤优化了camera-rig位姿和外参位姿.

A. Building A Sparse Feature Map

B. Visual Localization

视觉定位用图像和map作为输入.

• 对于每一张图, 我们用词典书来寻找n个最像的图
• 2D-2D特征匹配
• 用EPnP. 如果内点数量不够(>25)的话, 我们认为这个相机位姿是未知的.
• 我们在下面两个条件被满足的时候会存储这个相机位姿:
  • 最少两个相机位姿被找到
  • 当前相机位姿和之前的相机位姿

C. Inferring Camera Extrinsics and Rig Poses

D. Non-Linear Refinement

优化相机外参和rig poses．
\[
\min _{P_{i}, T_{c}} \sum_{c, i, p} \rho\left(\left\|\pi\left(C_{c}, P_{i}, T_{c}, X_{p}\right)-p_{c i p}\right\|^{2}\right)
\]
\(\pi\): projection fuction, \(X_p\)是点被camera \(c\)看到, \(C_c\)相机内参, \(T_c\): 外参.

\(p_{cip}\): 图像坐标.

E. Hand-Eye Calibration

如果有里程计的话, 我们也可以选择获得rig-odometry transform, 然后camera-odometry transform.

我们计算rig-odometry transform通过手眼标定问题的最小二乘方法.

5. Implementation

我们用了SURF来检测和计算描述子.

用了DBoW2来做词典树.

非线性优化用ceres写的.

6. Experiments and Results

我们在室内的停车厂和室外的市区场景都测了,