泡泡一分钟：Semantic Labeling of Indoor Environments from 3D RGB Maps

张宁 Semantic Labeling of Indoor Environments from 3D RGB Maps

Manuel Brucker,  Maximilian Durner,  Rare Ambru, Zoltán Csaba Márton, Axel Wendt, Patric Jensfelt,  Kai O. Arras,  Rudolph Triebel

"链接：https://pan.baidu.com/s/1JtQfWlhynnXvh69VLmvAFg

提取码：7evy

基于三维RGB图的室内环境语义标注

Abstract— We present an approach to automatically assign semantic labels to rooms reconstructed from 3D RGB maps of apartments. Evidence for the room types is generated using state-of-the-art deep-learning techniques for scene classification and object detection based on automatically generated virtual RGB views, as well as from a geometric analysis of the map’s 3D structure. The evidence is merged in a conditional random field, using statistics mined from different datasets of indoor environments. We evaluate our approach qualitatively and quantitatively and compare it to related methods.

我们提出了一种自动为从公寓的3D RGB地图重建的房间分配语义标签的方法。 房间类型的证据是使用最先进的深度学习技术生成的，用于基于自动生成的虚拟RGB视图的场景分类和对象检测，以及地图3D结构的几何分析。 证据在条件随机字段中合并，使用从室内环境的不同数据集挖掘的统计数据。 我们定性和定量地评估我们的方法，并将其与相关方法进行比较。

我们提出了一种从RGBD数据为房间分配语义标签的自动方法。总之，提议的基于CRF的提示集成比现有的替代方案更好，并且能够正确地标记大部分被测试的公寓，即使在不正确的几何形状的情况下也是如此。尽管如此，挑战仍然存在，部分原因是场景分类中的强烈偏见（例如，白墙被归类为具有极高置信度的浴室），但也归因于FCN的“幻觉”（例如，预测一个空的顶部的板块在图4）。其中一些挑战可以通过使用更多的训练数据，并通过将更多的潜力纳入能量函数来解决，但代价是增加了计算复杂性。我们希望通过使我们的标记数据集可用，我们可以激发关于如何解决这个尚未解决的挑战的新想法的产生。为了将来的研究，我们将继续研究CRF的性能（例如用于节点表示的单元复合体），并且还利用来自渲染视图的深度信息。