LCD: 2D-3D匹配算法
LCD: 2D-3D匹配算法
标题:LCD:Learned Cross-Domain Descriptors for 2D-3D Matching
作者:Quang-Hieu Pham, Mikaela Angelina Uy, Binh-Son Hua, et al.
论文地址:https://arxiv.org/abs/1911.09326
摘要
在这项工作中,提出了一种新颖的方法来学习用于2D图像和3D点云匹配的局部跨域描述符。提出的方法是一个双自编码器神经网络,将2D和3D输入映射到共享的潜在空间表示中。表明,与分别从2D和3D域中获得的那些描述符相比,共享嵌入中的此类局部跨域描述符具有更大的判别力。为了促进训练过程,通过从公开可用的RGB-D场景中收集了约140万个2D-3D对应关系,建立了一个新的数据集。的描述符在三个主要实验中进行了评估:2D-3D匹配,跨域检索和稀疏到稠密深度估计。实验结果证实了的方法的鲁棒性以及其竞争优势,不仅体现在解决跨域任务方面,而且能够泛化到单独的2D和3D任务方面。
计算机视觉任务,如运动结构、视觉内容检索,都需要来自2D和3D域的健壮描述符。在自己的领域中,这些描述符可以由低级特征(例如颜色、边缘等)构造。在图像匹配中,计算机视觉中的一个著名任务,已经提出了几种手工制作的本地描述符,例如SIFT(low e 2004)、SURF(Bay、Tuytelaars和Van Gool 2006)。随着深度学习的出现,许多健壮的2D描述符都是使用深度神经网络自动学习的(Simo-Serra等人。2015年;Kumar等人。2016年)。这些学习过的描述符显示出了相对于手工制作的对应项的健壮性和优势。同样的现象也可以在三维空间中观察到。例如,手工制作的3D描述符,例如FPFH(Rusu、Blodow和Beetz 2009)、SHOT(Tombari、Salti和Distefano2010)以及基于深度学习的描述符(Zengetal.2017)已用于许多3D任务,例如3D注册(Choi、Zhou和Koltun2015;Zhou、Park和Koltun 2016)和运动结构(Hartley和Zisserman 2003)。虽然二维和三维描述符广泛可用,但确定这些表示之间的关联是一项具有挑战性的任务。还缺少一个描述符,可以捕获两个域中的特性,并为跨域任务(例如,二维到三维内容检索)量身定制。通常,二维和三维表示之间存在很大差异。二维数据,即图像,可以简单地用规则网格表示。同时,三维数据可以由网格、体积或点云表示,并通过受物理和光学定律支配的图像形成模型获得。即使最近出现了深度学习,这些问题仍然是相同的:在2D域上学习的特征可能不适用于3D空间,反之亦然。
主要贡献
1.一种新颖的学习型跨域描述符(LCD),使用双自编码器体系结构和三元损失来学习。的设置会强制2D和3D自编码器在共享的潜在空间表示中学习跨域描述符。
2.一个约140万个2D-3D对应的新的公共数据集,用于训练和评估跨域描述符匹配。基于SceneNN和3DMatch构建了数据集。
3.验证的跨域描述符的鲁棒性的应用。将描述符用于解决单独的2D(图像匹配)和单独的3D任务(3D配准),然后再应用于2D-3D内容检索任务(2D-3D位置识别)。实验结果表明,即使不是为特定任务量身定制的描述符,的描述符在所有任务中的性能也可以与其他最新方法相媲美。
本文提出的网络由二维自动编码和三维自动编码组成。输入图像和点云数据分别用光度学损失和切角损失进行重建。重建损失保证了嵌入的特征具有鉴别性和代表性。二维嵌入和三维嵌入之间的相似性通过三重态损失得到进一步的正则化。图表表示法:fc表示全连接,conv/deconv(内核大小、输出维度、跨距、填充)表示卷积和反卷积。默认情况下,每次卷积和反卷积之后都会进行ReLU激活和批处理规范化。
算法流程
1.问题定义
I ∈ R^(W×H×3)表示尺寸为WxH的彩色图像块,P ∈ R^(N×6)为含有N个点的彩色点云,每个点由其3D世界坐标和RGB值表示。
目的是学习一个跨域描述符,找到两个映射:f : R^(W×H×3)→ D 和 g : R^(N×6)→ D,分别将2D和3D数据空间映射到一个共享的隐空间D ⊆ R^(D)。
2.网络架构
图1:提出的网络由2D自编码器和3D自编码器组成。输入图像和点云数据分别以光度和倒角损失进行重构。重建损失确保嵌入中的特征具有判别力和代表性。2D嵌入dI和3D嵌入dP之间的相似性通过三元损失进一步规范化。
提出了一种新颖的双自编码器架构来学习描述符。的模型是一个两分支的网络架构,其中一个分支编码3D特征,另一个分支编码2D特征。然后,使用三元损失共同优化两个分支,从而加强两个分支生成的嵌入的相似性;还使用了2D / 3D重建损失。
2D自编码器以64x64的彩色图像块作为输入,采用一系列卷积来提取图像特征,2D解码器使用转置卷积来重建图像块。3D分支采用PointNet架构,利用一系列全连接层和max-pooling来计算全局特征。为了重建彩色点云,利用全连接层输出Nx6的彩色点云。
为了实现共享表示,两个自编码器通过优化三元损失将的bottlenecks捆绑在一起。最终的训练损失包括如下的光度损失,倒角损失和三元损失。
光度损失:2D自编码器的损失由光度损失定义,光度损失是输入2D图像块与重构色块之间的均方误差:
倒角损失:为了优化3D自编码器网络,需要计算输入点集和重构点集之间的距离。通过倒角距离测量该距离:
三元损失:为了在由2D和3D分支生成的嵌入中实现相似性,即2D图像块及其对应的3D结构应具有相似的嵌入,采用三元损失函数。这种损失最小化锚点和正样本之间的距离,最大化锚点和负样本之间的距离。
总的损失函数:
主要结果
表1,SceneNN数据集上的2D匹配结果。
图2,SIFT和提出的描述符之间的定性2D匹配比较。的描述符可以直接识别墙壁和冰箱的特征,而SIFT不能区分。
表2,3DMatch基准上的3D配准结果。
图3,3DMatch基准测试的定性结果。通过匹配局部3D描述符,的方法能够成功地在不同具有挑战性的场景中对齐片段对,而3DMatch (Zeng et al. 2017)在几何存在歧义的情况下失败。
图4:2D-3D位置识别任务的结果。LCD-D256,LCD-D128和LCD-D64表示具有不同维度的描述符。有效的同时,的跨域描述符还展示了对输入噪声的鲁棒性,LCD-σ表示将标准偏差σ的高斯噪声添加到查询图像中时的结果。
图6:稀疏到密集的深度估计结果。输入是RGB图像和2048个稀疏深度样本。的网络通过重建局部3D点来估计密集的深度图。
LCD: 2D-3D匹配算法的更多相关文章
- FushionCharts Free 的运用[2D/3D图表处理]
由于先前在一些论坛中谈论到这个插件的运用,留了一些QQ联系方式,最近老是被一些程序员“骚扰”,说是请教一些关于FushionChart Free图表的处理技术,先前还是比较乐意接受的,但发现后来一些完 ...
- CSS自学笔记(13):CSS3 2D/3D转换
CSS3中新增了对元素进行2D和3D的转换效果,这样可以是开发人员很方便的做出视觉效果更好的网页来. 通过CSS3中属性的定义,我们可以对元素进行移动.缩放.拉伸.旋转等等,可以通过定义transfo ...
- 基于 HTML5 Canvas 的简易 2D 3D 编辑器
不管在任何领域,只要能让非程序员能通过拖拽来实现 2D 和 3D 的设计图就是很牛的,今天我们不需要 3dMaxs 等设计软件,直接用 HT 就能自己写出一个 2D 3D 编辑器,实现这个功能我觉得成 ...
- 分享数百个 HT 工业互联网 2D 3D 可视化应用案例
过去的 2018 年,我们认为是国内工业互联网可视化的元年,图扑软件作为在工业可视化领域的重度参与者,一线见证了众多 HTML5/Web 化.2D/3D 化的项目在工业界应用落地,我们觉得有必要在此分 ...
- Asphyre Sphinx is a cross-platform framework for developing 2D/3D video games and interactive business applications
Introduction Introduction Asphyre Sphinx is a cross-platform framework for developing 2D/3D video ga ...
- DirectUI 2D/3D 界面库集合 分析之总结
DirectUI优点在于能够非常方便的构建高效,绚丽的,非常易于扩展的界面.作者是Bjarke Viksoe, 他的这个界面程序思想和代码都很优秀,他的代码主要表述了他的思想,尽管bug比較多,可是很 ...
- paper 157:文章解读--How far are we from solving the 2D & 3D Face Alignment problem?-(and a dataset of 230,000 3D facial landmarks)
文章:How far are we from solving the 2D & 3D Face Alignment problem?-(and a dataset of 230,000 3D ...
- 分享数百个 HT 工业互联网 2D 3D 可视化应用案例之 2019 篇
继<分享数百个 HT 工业互联网 2D 3D 可视化应用案例>2018 篇,图扑软件定义 2018 为国内工业互联网可视化的元年后,2019 年里我们与各行业客户进行了更深度合作,拓展了H ...
- 数百个 HT 工业互联网 2D 3D 可视化应用案例分享 - 2019 篇
继<分享数百个 HT 工业互联网 2D 3D 可视化应用案例>2018 篇,图扑软件定义 2018 为国内工业互联网可视化的元年后,2019 年里我们与各行业客户进行了更深度合作,拓展了H ...
- 2019-分享数百个 HT 工业互联网 2D 3D 可视化应用案例分享
继<分享数百个 HT 工业互联网 2D 3D 可视化应用案例>2018 篇,图扑软件定义 2018 为国内工业互联网可视化的元年后,2019 年里我们与各行业客户进行了更深度合作,拓展了H ...
随机推荐
- SpringCloud-Stream消息通信
SpringCloud微服务实战系列教程 Spring Cloud Stream 消息驱动组件帮助我们更快速,更⽅便,更友好的去构建消息驱动微服务的.当时定时任务和消息驱动的⼀个对⽐.(消息驱动:基于 ...
- Linux下逻辑卷LVM的管理和RAID磁盘阵列
目录 LVM 一:LVM的创建 二:LVM的拉伸 三:LVM的缩小 四:LVM的删除 五:RAID磁盘阵列的添加 LVM LVM(Logical Volume Manager) 逻辑卷管理器,可以动态 ...
- Python第一章-基础知识
第一章:基础知识 1.1 安装python. 直接官网下载最新的python然后默认安装就可以了,然后开始菜单里找到pyhton *.*.* Shell.exe运行python的交互shell ...
- xposed结合Zygote分析
android中zygote相信大家都很熟悉,它执行的函数是app_main.cpp,而xposed主要实现的就是替换app_main.cpp.所以在分析xposed时有必要来认识下zygote.好了 ...
- UVA11997求前k个和,多路归并问题
题意: 给你一个二维矩阵,n*n的,每次从每一行中拿出来一个,然后加起来组成一个和,一共可以得到n^n个和,要求求出这n^n个和中最小的那n个和. 思路: 多路归并问题,先说下多路 ...
- WindowsPE 第七章 资源表
资源表 在程序设计中,总会设计一些数据.这些数据可能是源代码内部需要用到的常量,菜单选项.界面描述等:也可能是源代码外部的,比如程序的图标文件.北京音乐文件.配置文件等,以上这些数据统称为资源.按照程 ...
- 13.PHP_ThinkPHP
ThinkPHP 先把百度百科上对这个框架的介绍粘贴过来: ThinkPHP是为了简化企业级应用开发和敏捷WEB应用开发而诞生的.最早诞生于2006年初,2007年元旦正式更名为ThinkPHP,并且 ...
- 『动善时』JMeter基础 — 7、jmeter.properties文件常用配置
目录 1.默认语言设置 2.配置默认编码格式 3.GUI图标放大比例设置 4.功能区工具栏图标大小设置 5.视图区目录树图标大小设置 6.内容区编辑字体设置 7.添加JMeter元素快捷键设置 8.捕 ...
- CentOS防火墙相关命令
针对于CentOS-6(CentOS-7命令不同,CentOS-8输入以下指令会自动定向,可以通用) 查看防火墙状态 # service iptables status 关闭防火墙 # service ...
- Jetbrains系列产品License key is in legacy format
原文链接: https://zhile.io/2018/08/25/jetbrains-license-server-crack.html