语义SLAM研究现状总结

博客转载自：https://blog.csdn.net/xiaoxiaowenqiang/article/details/81051010 原文标题：深度学习结合SLAM 语义slam 语义分割 端到端SLAM CNN-SLAM DenseSLAM orbslam2 + ssd LSD-SLAM + CNN SemanticFusion Mask

深度学习结合SLAM 研究现状总结

本文github链接

1. 用深度学习方法替换传统slam中的一个/几个模块：

            特征提取，特征匹配，提高特征点稳定性，提取点线面等不同层级的特征点。
            深度估计
            位姿估计
            重定位
            其他
    目前还不能达到超越传统方法的效果，
    相较传统SLAM并没有很明显的优势（标注的数据集少且不全，使用视频做训练数据的非常少。
    SLAM中很多问题都是数学问题，深度学习并不擅长等等原因）。

2. 在传统SLAM之上加入语义信息

            图像语义分割
            语义地图构建
    语义SLAM算是在扩展了传统SLAM问题的研究内容，现在出现了一些将语义信息集成到SLAM的研究，
    比如说用SLAM系统中得到的图像之间的几何一致性促进图像语义分割，
    也可以用语义分割/建图的结果促进SLAM的定位/闭环等，前者已经有了一些研究，
    不过还是集中于室内场景，后者貌似还没有什么相关研究。
    如果SLAM和语义分割能够相互促进相辅相成，应该能达到好的效果。
    另：使用SLAM帮助构建大规模的图像之间有对应关系的数据集，
    可以降低深度学习数据集的标注难度吧，应该也是一个SLAM助力深度学习的思路。

6

3. 端到端SLAM

    其实端到端就不能算是SLAM问题了吧，SLAM是同步定位与地图构建，端到端是输入image输出action，没有定位和建图。
    - 机器人自主导航（深度强化学习）等

1. 用深度学习方法替换传统slam中的一个/几个模块：

A. CNN-SLAM: Real-time dense monocular SLAM with learned depth prediction

论文 

基于CNN的单张图深度估计，语义SLAM，半稠密的直接法SLAM.
将LSD-SLAM里的深度估计和图像匹配都替换成基于CNN的方法，取得了更为robust的结果，并可以融合语义信息.

鉴于卷积神经网络（CNN）深度预测的最新进展，
本文研究了深度神经网络的预测深度图，可以部署用于精确和密集的单目重建。
我们提出了一种方法，其中CNN预测的稠密深度图与通过直接单目SLAM获得的深度测量自然地融合在一起。
我们的融合方案在图像定位中优于单目SLAM方法，例如沿低纹理区域，反之亦然。
我们展示了使用深度预测来估计重建的绝对尺度，从而克服了单眼SLAM的主要局限性之一。
最后，我们提出一个框架，从单个帧获得的语义标签有效地融合了密集的SLAM，从单个视图产生语义相干的场景重构。
两个基准数据集的评估结果显示了我们的方法的鲁棒性和准确性。