注:刚入门depth estimation,这也是以后的主要研究方向,欢迎同一个方向的加入QQ群(602708168)交流。

1. 论文简介

论文题目:Deep Learning-Based Monocular Depth Estimation Methods—A State-of-the-Art Review

Paper地址:https://www.mdpi.com/1424-8220/20/8/2272

Paper类型:综述

2. Abstract

本综述基于深度学习方法展开,分别包括了数据集、SOTA方法。以及未来研究导向。

3. Introduction

单目深度估计在机器人技术、场景理解、3D重建和医学成像方面具有潜在的应用;

目前仍然具有挑战性,因为从单一图像中没有可靠的线索来感知深度;

因为单一图像缺少时间信息和立体对应;

经典的深度估计方法严重依赖于多视图几何,如立体图像;

这些方法需要校准和校准程序,这对于多摄像头或多传感器深度测量系统很重要;

多视角方法利用视觉线索和不同的摄像机参数获取深度信息。

多目深度估计具有计算复杂度高,所需存储大的问题。

深度学习技术促进了depth estimation的发展,并提升了depth estimation的性能。

4. An Overview of Monocular Depth Estimation

深度估计的概念是指利用摄像机捕捉到的二维信息来保存场景的三维信息的过程;

单目解决方案往往只使用一张图像就能实现这一目标;

单目估计方案降低了时间复杂度,能取代现有设备和方法;

市场上depth estimation设备不足例子:

Kinect等传感器通常用于消费设备;

这些类型的传感器被归类为飞行时间( Time-of-Flight,ToF),其中深度信息是通过计算光线从光源到物体并返回到传感器所需的时间来获得的;

ToF传感器更适合于室内环境和近距离(< 2m)深度传感。

另一方面,基于激光的扫描仪(LiDAR)通常用于室外环境的3D测量;

激光雷达传感器的主要优点是高分辨率、精度、低光性能和速度;

然而,激光雷达是昂贵的设备,需要大量的电力资源,这使得它们不适合消费产品。

SOTA方法具有高性能,低时间消耗;

4.1 Problem Representation

输入为一幅二维的RGB图像I,经过一个CNN(监督、半监督、无监督),输出深度图D。

4.2 Traditional Methods for Depth Estimation

传统的depth estimation依赖于对场景空间和时间观察的假设(例如,立体或多视图,来自运动的结构),有两类:主动和被动;

主动方法通过与物体和环境的交互来计算场景的深度:

  1. 基于光照的depth estimation (light-based),它使用主动光照明来估计到不同物体的距离;
  2. 超声和TOF(Ultrasound and Time-of-Fight),已知速度与声波到达图像感知器(Sensors)的时间计算距离;

被动方法利用捕获图像的光学特征;这些方法包括利用计算图像提取深度信息过程:

  多目depth estimation(multi-view),如立体匹配(stereo match);

  单目深度估计(monocular depth estimation);

总的来说,传统depth estimation主要聚焦在多视野几何。

4.2 Datasets for Depth Estimation

深度估计数据集:NYU-v2,Make3D,KITTI,Pandora,SceneFlow。

5. Deep Learning and Monocular Depth Estimation

现有的深度估计根据训练策略可以划分为supervised,semi-supervised,Self-supervised。

5.1 Supervised methods

监督方法的具体介绍,细节看原文。

5.2 Self-supervised methods

自监督方法的具体介绍,细节看原文。

5.3 Semi-supervised methods

半监督方法的具体介绍,细节看原文。

6. Evaluation Matrices and Criteria

depth estimation的指标有:

绝对相对差(AbsRel),均方根误差(RMSE), RMSE (log)和平方相对误差(SqRel)。

对比方法的一些细节:输入输出尺寸,模型大小。

Table 4展示了性能对比结果,DeepV2D整体上性能最好。

Table5展示了在NYU-V2数据集上的性能对比,DeepV2D仍然取得最好的结果。

Table 6展示了各个方法的平均计算时间。

部分方法的主观结果呈现在Figure 1中。

7. Future Research Directions

  1. 未来研究导向:
  2. 降低模型复杂的问题
  3. 提升性能
  4. 实时应用
  5. 更大可用的数据集

8. 总结

  我比较喜欢本Survey的Introduction和An overview of monocular depth estimation两部分;

  第一部分提到一些传统方法的问题;

  第二部分也说明了一些之前方法的不足,另外提供了数据集介绍;

  对于之后的几个小节,个人感觉可读性比较少,对比的方法还是略微偏少。

9. 结语

  努力去爱周围的每一个人,付出,不一定有收获,但是不付出就一定没有收获! 给街头卖艺的人零钱,不和深夜还在摆摊的小贩讨价还价。愿我的博客对你有所帮助(*^▽^*)(*^▽^*)!

  如果客官喜欢小生的园子,记得关注小生哟,小生会持续更新(#^.^#)(#^.^#)。

Deep Learning-Based Monocular Depth Estimation Methods-A State-of-the-Art Review的更多相关文章

  1. 泡泡一分钟:Towards real-time unsupervised monocular depth estimation on CPU

    Towards real-time unsupervised monocular depth estimation on CPU Matteo Poggi , Filippo Aleotti , Fa ...

  2. 论文笔记: Deep Learning based Recommender System: A Survey and New Perspectives

    (聊两句,突然记起来以前一个学长说的看论文要能够把论文的亮点挖掘出来,合理的进行概括23333) 传统的推荐系统方法获取的user-item关系并不能获取其中非线性以及非平凡的信息,获取非线性以及非平 ...

  3. 论文翻译:2021_Towards model compression for deep learning based speech enhancement

    论文地址:面向基于深度学习的语音增强模型压缩 论文代码:没开源,鼓励大家去向作者要呀,作者是中国人,在语音增强领域 深耕多年 引用格式:Tan K, Wang D L. Towards model c ...

  4. 【RS】Deep Learning based Recommender System: A Survey and New Perspectives - 基于深度学习的推荐系统:调查与新视角

    [论文标题]Deep Learning based Recommender System: A Survey and New Perspectives ( ACM Computing Surveys  ...

  5. Predicting effects of noncoding variants with deep learning–based sequence model | 基于深度学习的序列模型预测非编码区变异的影响

    Predicting effects of noncoding variants with deep learning–based sequence model PDF Interpreting no ...

  6. 个性探测综述阅读笔记——Recent trends in deep learning based personality detection

    目录 abstract 1. introduction 1.1 个性衡量方法 1.2 应用前景 1.3 伦理道德 2. Related works 3. Baseline methods 3.1 文本 ...

  7. Paper Reading——LEMNA:Explaining Deep Learning based Security Applications

    Motivation: The lack of transparency of the deep  learning models creates key barriers to establishi ...

  8. (转) Ensemble Methods for Deep Learning Neural Networks to Reduce Variance and Improve Performance

    Ensemble Methods for Deep Learning Neural Networks to Reduce Variance and Improve Performance 2018-1 ...

  9. Why Deep Learning Works – Key Insights and Saddle Points

    Why Deep Learning Works – Key Insights and Saddle Points A quality discussion on the theoretical mot ...

  10. 深度学习阅读列表 Deep Learning Reading List

    Reading List List of reading lists and survey papers: Books Deep Learning, Yoshua Bengio, Ian Goodfe ...

随机推荐

  1. 浅谈MYSQL的索引以及它的数据结构

    什么是索引 mysql的数据是持久化到磁盘的,写SQL查询数据也就是在磁盘的某个位置查找符合条件的数据,但是磁盘IO比起内存效率是极慢的,特别是数据量大的时候,这时候就需要引入索引来提高查询效率: 在 ...

  2. MLP(SGD or Adam) Perceptron Neural Network Working by Pytorch(including data preprocessing)

    通过MLP多层感知机神经网络训练模型,使之能够根据sonar的六十个特征成功预测物体是金属还是石头.由于是简单的linearr线性仿射层,所以网络模型的匹配度并不高. 这是我的第一篇随笔,就拿这个来练 ...

  3. 【网络】https 轻解读

    Abstract TLS.SSL.摘要(digest).对称/非对称加密.数字签名(signature).证书(certification),傻傻分不清楚?为了解 https, 鄙人对以上这几个名词都 ...

  4. JavaWeb实战:基础CRUD+批量删除+分页+条件

    技术栈及相关参考资料: MyBatis基础 Servlet基础 ServletRequest和ServletResponse MVC模式和三层架构 AJAX基础+Axios基础 Vue前端框架 Ele ...

  5. HDLBits答案——Verification: Writing Testbenches

    1 clock module top_module ( ); reg clk; dut U1(.clk(clk)); initial begin clk = 0; end always begin # ...

  6. AtCoder Regular Contest 151补题

    AtCoder Regular Contest 151 A. Equal Hamming Distances 简单题,注意下答案需要字典序最小即可 #include<bits/stdc++.h& ...

  7. i春秋xss平台

    点开是个普普通通的登录窗口,没有注册,只有登录,抓住包也没获取什么有用的信息,看了看dalao的wp才知道怎么做,首先抓包然后修改参数的定义来让其报错,pass原本的应该为整数,pass[]=就可以让 ...

  8. 多点DMALL × Apache Kyuubi:构建统一SQL Proxy探索实践

    伴随着国家产业升级的推进和云原生技术成熟,多点 DMALL 大数据技术也经历了从存算一体到存算分离的架构调整变迁.本文将从引入 Kyuubi 实现统一 SQL Proxy 的角度讲述这一探索实践的历程 ...

  9. CompletionService 使用小结

    本文为博主原创,转载请注明出处: 实现异步任务时,经常使用 FutureTask 来实现:一个简单的示例代码如下: public static void main(String[] args) thr ...

  10. TinyShell(CSAPP实验)

    简介 CSAPP实验介绍 学生实现他们自己的带有作业控制的Unix Shell程序,包括Ctrl + C和Ctrl + Z按键,fg,bg,和 jobs命令.这是学生第一次接触并发,并且让他们对Uni ...