3D Object Classification With Point Convolution —— 点云卷积网络
今天刚刚得到消息,之前投给IROS 2017的文章收录了。很久很久没有写过博客,今天正好借这个机会来谈谈点云卷积网络的一些细节。
1、点云与三维表达
三维数据后者说空间数据有很多种表达方式,比如:RGB-D 图像,体素图像,三维点云等。这些三维数据的表达方式各有特点:RGB-D 图像可以直接从Kinect 读到,而且是规整的,适合直接用于现存的图像处理框架。体素图像更直观的展示物体的三维形貌,更直接的表达物体表面空间位置关系,同时,很容易将图像中成功的方法推广到体素图像中。而三维点云的表达更加紧凑,同样分辨考虑情况下,三维点云的表达占更小的空间(三维点云可以认为是体素图像的紧凑编码,即记录体素图像中 occupied voxel 的坐标)。同时,LiDAR 点云转RGB - D 会有很多空洞。所以,我们致力于设计一种通用的方法,利用点云来分析物体表面所传达的信息。
2、点云卷积
卷积神经网络是深度学习中具有代表性的一种模型,很成功的解决了图像分割,识别,检测,分析,caption,questioning等不同层次的问题。根据我们的理解,卷积网络的成功之处在于巨大的容量,可以容纳更多信息,在流形中容易形成更好的连续性;从局部到整体层级式的映射,卷积核经过多层映射后有巨大的接受域,模型既含有局部信息又含有物体的整体信息;去中心化的结构,卷积过程中对所有的像素都没有主观偏好性。最让我们感兴趣的,是卷积这种操作通过综合周边信息和非线性映射来优化局部的表达,又通过局部表达的综合来给出整体描述。同时,和卷积配合的池化操作可以给模型带来微小的局部不变性。这些优良的性质启发了我们将卷积这种操作用在三维数据上。
最容易实现的三维卷积网络是在体素图像上进行三维卷积操作。但体素图像往往都有其缺点:1、所谓三维往往是2.5维,物体的自遮挡是无法忽略的,2、三维卷积操作需要多搜索一个维度,3*3*3的三维卷积核计算量近大于在图像上进行5*5卷积核的操作。同时,100*100*100的三维体素图像尺寸上相当于1000*1000的二维图像,所以三维卷积是比较昂贵的操作。3、三维体素图像(binary, VoxNet)含有大量的空白,也就是0,物体自遮挡,内部信息都是无法访问的。所以大量的卷积操作都不是很划算。所以我们考虑将卷积这种操作移植到点云上。
点云本身具有无序性。也就是对点云进行随意排序它对物体的表达都是一致的。对无序序列进行训练本身似乎听起来是一件不太可能的事情。当前阶段的分类网络都是以泛化(generalization)为主,训练样本如果是无序的,那么同一件东西则有完全 非近似 的表达,遑论统一。所以,IROS的工作介绍了如何在点云上建立顺序、卷积操作、以及最后形成网络的方法。
3D Object Classification With Point Convolution —— 点云卷积网络的更多相关文章
- ICCV2019论文点评:3D Object Detect疏密度点云三维目标检测
ICCV2019论文点评:3D Object Detect疏密度点云三维目标检测 STD: Sparse-to-Dense 3D Object Detector for Point Cloud 论文链 ...
- CVPR2020论文解读:3D Object Detection三维目标检测
CVPR2020论文解读:3D Object Detection三维目标检测 PV-RCNN:Point-Voxel Feature Se tAbstraction for 3D Object Det ...
- 三维目标检测论文阅读:Deep Continuous Fusion for Multi-Sensor 3D Object Detection
题目:Deep Continuous Fusion for Multi-Sensor 3D Object Detection 来自:Uber: Ming Liang Note: 没有代码,主要看思想吧 ...
- Look Further to Recognize Better: Learning Shared Topics and Category-Specific Dictionaries for Open-Ended 3D Object Recognition
张宁 Look Further to Recognize Better: Learning Shared Topics and Category-Specific Dictionaries for O ...
- Unity UGUI和特效(含粒子系统和3D Object)之间层级问题
撰写本文时使用Unity的版本为2017.4.10f1(64bit) 1.描述问题 需求:通过UGUI制作一个界面之后,我需要在界面的后面跟前面各添加一个特效. 问题:同一层级UI是最后渲染的,所以U ...
- CVPR2020:点云分析中三维图形卷积网络中可变形核的学习
CVPR2020:点云分析中三维图形卷积网络中可变形核的学习 Convolution in the Cloud: Learning Deformable Kernels in 3D Graph Con ...
- 百度云+ KeePass 网络同步你的密码
百度云+ KeePass 网络同步你的密码 百度云一个目前不限流量不限格式能直链的网盘,速度在我这里很快,难得了!KeePass(小众介绍过 KeePass.) 是一个免费开源的密码管理类软件, ...
- 实时音视频互动系列(上):又拍云UTUN网络详解
如何定义实时音视频互动, 延迟 400ms 内才能无异步感 实时音视频互动如果存在1秒左右的延时会给交流者带来异步感,必须将视频播放延迟限制在400ms以内,才能给用户较好的交互体验. 当延迟控制在4 ...
- OpenStack云平台网络模式及其工作机制
转自:http://openstack.csdn.net/content.html?arcid=2808381 OpenStack云平台网络模式及其工作机制 网络,是OpenStack的部署中最容易出 ...
随机推荐
- goland 中国 caisy qq Czx123456
goland 中国 caisy qq Czx123456
- 3、css初识
前端内容就分三部分html.css.javascript(js),对一个网页来说html相当于是一个裸体的人,css相当于给这个人穿上了衣服,javascript相当于给这个人赋予动作行为,今天我们要 ...
- .Net core的日志系统
.net core是内置了日志系统的,本文这里简单的介绍一下它的基本用法.如下是一个简单的示例: var service = new ServiceCollection() .AddLogging(l ...
- caffe编译时候出现 undefined reference to `TIFFReadRGBAStrip@LIBTIFF_4.0'
1.编译时候出现 make: * [.build_release/examples/siamese/convert_mnist_siamese_data.bin] Error 1 /usr/local ...
- Spark2.3(四十二):Spark Streaming和Spark Structured Streaming更新broadcast总结(二)
本次此时是在SPARK2,3 structured streaming下测试,不过这种方案,在spark2.2 structured streaming下应该也可行(请自行测试).以下是我测试结果: ...
- typescript 与 js 开发 react 的区别
一.从定义文件格式方面说1.传统的开发模式可以定义js文件或者jsx文件2.利用ts开发定义的文件格式tsx二.定义state的状态来说1.传统的方式直接在构造函数中使用 constructor(){ ...
- SharePonit online 列表表单定制
1)在O365管理中心,确保启用了站点脚本定制,否则,网站不允许将页面切换到编辑模式. 2)Ribbon上,列表->表单web部件->编辑窗体 如果没有Ribbon,则到列表高级设置,启用 ...
- Linux 修改时区
CentOS 7修改方式如下: # lsb_release -a --查看系统版本-CentOS Linux release 7.6 # timedatectl --查看当前系统时区# ls ...
- 【C#】C#线程_I/O限制的异步操作
目录结构: contents structure [+] 为什么需要异步IO操作 C#的异步函数 async和await的使用 async和Task的区别 异步函数的状态机 异步函数如何转化为状态机 ...
- 构建自己的 Smart Life 私有云(一)-> 破解涂鸦智能插座
博客搬迁至https://blog.wangjiegulu.com RSS订阅:https://blog.wangjiegulu.com/feed.xml 原文链接:https://blog.wang ...