注:刚入门depth estimation,这也是以后的主要研究方向,欢迎同一个方向的加入QQ群(602708168)交流。

1. 论文简介

论文题目:Deep Learning-Based Monocular Depth Estimation Methods—A State-of-the-Art Review

Paper地址:https://www.mdpi.com/1424-8220/20/8/2272

Paper类型:综述

2. Abstract

本综述基于深度学习方法展开,分别包括了数据集、SOTA方法。以及未来研究导向。

3. Introduction

单目深度估计在机器人技术、场景理解、3D重建和医学成像方面具有潜在的应用;

目前仍然具有挑战性,因为从单一图像中没有可靠的线索来感知深度;

因为单一图像缺少时间信息和立体对应;

经典的深度估计方法严重依赖于多视图几何,如立体图像;

这些方法需要校准和校准程序,这对于多摄像头或多传感器深度测量系统很重要;

多视角方法利用视觉线索和不同的摄像机参数获取深度信息。

多目深度估计具有计算复杂度高,所需存储大的问题。

深度学习技术促进了depth estimation的发展,并提升了depth estimation的性能。

4. An Overview of Monocular Depth Estimation

深度估计的概念是指利用摄像机捕捉到的二维信息来保存场景的三维信息的过程;

单目解决方案往往只使用一张图像就能实现这一目标;

单目估计方案降低了时间复杂度,能取代现有设备和方法;

市场上depth estimation设备不足例子:

Kinect等传感器通常用于消费设备;

这些类型的传感器被归类为飞行时间( Time-of-Flight,ToF),其中深度信息是通过计算光线从光源到物体并返回到传感器所需的时间来获得的;

ToF传感器更适合于室内环境和近距离(< 2m)深度传感。

另一方面,基于激光的扫描仪(LiDAR)通常用于室外环境的3D测量;

激光雷达传感器的主要优点是高分辨率、精度、低光性能和速度;

然而,激光雷达是昂贵的设备,需要大量的电力资源,这使得它们不适合消费产品。

SOTA方法具有高性能,低时间消耗;

4.1 Problem Representation

输入为一幅二维的RGB图像I,经过一个CNN(监督、半监督、无监督),输出深度图D。

4.2 Traditional Methods for Depth Estimation

传统的depth estimation依赖于对场景空间和时间观察的假设(例如,立体或多视图,来自运动的结构),有两类:主动和被动;

主动方法通过与物体和环境的交互来计算场景的深度:

  1. 基于光照的depth estimation (light-based),它使用主动光照明来估计到不同物体的距离;
  2. 超声和TOF(Ultrasound and Time-of-Fight),已知速度与声波到达图像感知器(Sensors)的时间计算距离;

被动方法利用捕获图像的光学特征;这些方法包括利用计算图像提取深度信息过程:

  多目depth estimation(multi-view),如立体匹配(stereo match);

  单目深度估计(monocular depth estimation);

总的来说,传统depth estimation主要聚焦在多视野几何。

4.2 Datasets for Depth Estimation

深度估计数据集:NYU-v2,Make3D,KITTI,Pandora,SceneFlow。

5. Deep Learning and Monocular Depth Estimation

现有的深度估计根据训练策略可以划分为supervised,semi-supervised,Self-supervised。

5.1 Supervised methods

监督方法的具体介绍,细节看原文。

5.2 Self-supervised methods

自监督方法的具体介绍,细节看原文。

5.3 Semi-supervised methods

半监督方法的具体介绍,细节看原文。

6. Evaluation Matrices and Criteria

depth estimation的指标有:

绝对相对差(AbsRel),均方根误差(RMSE), RMSE (log)和平方相对误差(SqRel)。

对比方法的一些细节:输入输出尺寸,模型大小。

Table 4展示了性能对比结果,DeepV2D整体上性能最好。

Table5展示了在NYU-V2数据集上的性能对比,DeepV2D仍然取得最好的结果。

Table 6展示了各个方法的平均计算时间。

部分方法的主观结果呈现在Figure 1中。

7. Future Research Directions

  1. 未来研究导向:
  2. 降低模型复杂的问题
  3. 提升性能
  4. 实时应用
  5. 更大可用的数据集

8. 总结

  我比较喜欢本Survey的Introduction和An overview of monocular depth estimation两部分;

  第一部分提到一些传统方法的问题;

  第二部分也说明了一些之前方法的不足,另外提供了数据集介绍;

  对于之后的几个小节,个人感觉可读性比较少,对比的方法还是略微偏少。

9. 结语

  努力去爱周围的每一个人,付出,不一定有收获,但是不付出就一定没有收获! 给街头卖艺的人零钱,不和深夜还在摆摊的小贩讨价还价。愿我的博客对你有所帮助(*^▽^*)(*^▽^*)!

  如果客官喜欢小生的园子,记得关注小生哟,小生会持续更新(#^.^#)(#^.^#)。

Deep Learning-Based Monocular Depth Estimation Methods-A State-of-the-Art Review的更多相关文章

  1. 泡泡一分钟:Towards real-time unsupervised monocular depth estimation on CPU

    Towards real-time unsupervised monocular depth estimation on CPU Matteo Poggi , Filippo Aleotti , Fa ...

  2. 论文笔记: Deep Learning based Recommender System: A Survey and New Perspectives

    (聊两句,突然记起来以前一个学长说的看论文要能够把论文的亮点挖掘出来,合理的进行概括23333) 传统的推荐系统方法获取的user-item关系并不能获取其中非线性以及非平凡的信息,获取非线性以及非平 ...

  3. 论文翻译:2021_Towards model compression for deep learning based speech enhancement

    论文地址:面向基于深度学习的语音增强模型压缩 论文代码:没开源,鼓励大家去向作者要呀,作者是中国人,在语音增强领域 深耕多年 引用格式:Tan K, Wang D L. Towards model c ...

  4. 【RS】Deep Learning based Recommender System: A Survey and New Perspectives - 基于深度学习的推荐系统:调查与新视角

    [论文标题]Deep Learning based Recommender System: A Survey and New Perspectives ( ACM Computing Surveys  ...

  5. Predicting effects of noncoding variants with deep learning–based sequence model | 基于深度学习的序列模型预测非编码区变异的影响

    Predicting effects of noncoding variants with deep learning–based sequence model PDF Interpreting no ...

  6. 个性探测综述阅读笔记——Recent trends in deep learning based personality detection

    目录 abstract 1. introduction 1.1 个性衡量方法 1.2 应用前景 1.3 伦理道德 2. Related works 3. Baseline methods 3.1 文本 ...

  7. Paper Reading——LEMNA:Explaining Deep Learning based Security Applications

    Motivation: The lack of transparency of the deep  learning models creates key barriers to establishi ...

  8. (转) Ensemble Methods for Deep Learning Neural Networks to Reduce Variance and Improve Performance

    Ensemble Methods for Deep Learning Neural Networks to Reduce Variance and Improve Performance 2018-1 ...

  9. Why Deep Learning Works – Key Insights and Saddle Points

    Why Deep Learning Works – Key Insights and Saddle Points A quality discussion on the theoretical mot ...

  10. 深度学习阅读列表 Deep Learning Reading List

    Reading List List of reading lists and survey papers: Books Deep Learning, Yoshua Bengio, Ian Goodfe ...

随机推荐

  1. JS 学习笔记 (七) 面向对象编程OOP

    1.前言 创建对象有很多种方法,最常见的是字面量创建和new Object()创建.但是在需要创建多个相同结构的对象时,这两种方法就不太方便了. 如:创建多个学生信息的对象 let tom = { n ...

  2. pycharm系列---django

    manage debug Python Console基本配置 DJANGO_SETTINGS_MODULE=mini_project.settings import sys import djang ...

  3. Vue3 企业级优雅实战 - 组件库框架 - 3 搭建组件库开发环境

    前文已经初始化了 workspace-root,从本文开始就需要依次搭建组件库.example.文档.cli.本文内容是搭建 组件库的开发环境. 1 packages 目录 前面在项目根目录下创建了 ...

  4. WSL优化之SSH远程登录篇

    Some of the most devastating things that happen to you will teach you the most. 有些最打击你的事情反而教会你的东西越多. ...

  5. 关于 python 中比较运算的顺序

    先来看一个例子: "x" > "y" == True 结果为 False 因为这里的表达式可以等同于 "x" > "y ...

  6. mybatis中xml的sql之test中文报错

    在mybatis中sql,test中文报错( java.lang.NumberFormatException 这句话明确告诉了我们是数字格式异常).需加.tostring(). <if test ...

  7. 【SQL基础】多表查询:子查询、连接查询(JOIN)、组合查询(UNION集合运算)

    〇.概述 1.内容 JOIN表连接(内连接INNER JOIN/JOIN)(外连接LEFT/RIGHT (OUTER) JOIN) 集合运算-UNION联合 2.建表语句 drop table if ...

  8. windowserver中PowerShell禁止脚本执行的解决方法

    最近工作中在上线项目的时候安装Exceptionless时,运行powershell脚本,发现报错: 报错提示:You cannot run this script on the current sy ...

  9. 常用的渗透测试工具——SQLMap安装

    SQLMap是一个自动化的SQL注入工具,其主要功能是扫描.发现并利用给定URL的SQL注入漏洞,内置了很多绕过插件,支持的数据库是MySQL.Qracle.PostgreSQL.Microsoft ...

  10. 基于 Spring Cloud 的微服务脚手架

    基于 Spring Cloud 的微服务脚手架 作者: Grey 原文地址: 博客园:基于 Spring Cloud 的微服务脚手架 CSDN:基于 Spring Cloud 的微服务脚手架 本文主要 ...