《3-D Deep Learning Approach for Remote Sensing Image Classification》论文笔记
论文题目《3-D Deep Learning Approach for Remote Sensing Image Classification》
论文作者:Amina Ben Hamida, Alexandre Benoit , Patrick Lambert, and Chokri Ben Amar, Senior Member , IEEE
论文发表年份:2018
网络简称:3D-CNN
发表期刊:IEEE Transactions on geoscience and remote sensing
Motivation
现有的方法仍然局限于当今大型数据集中丰富的空间光谱内容。然而,遥感数据集中光谱和空间内容共存所带来的特异性扩大了将DL方法应用于这些背景的挑战范围。因此,本文的目的是首先探索用于RS高光谱数据集分类的DL体系结构的性能,然后引入一种新的三维DL方法,使光谱和空间信息处理相结合。
Challenges
1)高维数据:当处理高维数据时,DL方法的计算成本变得很高。这些高成本主要是由于学习数据抽象和建立从低层次到最高语义解释的有效表示需要缓慢的学习过程。
2)重型模型:目前DL模型依靠深度和广度模型取得了显著的成果。因此,需要大量参数从数据本身学习复杂的特征和表示。此外,这种重模型在标记数据方面是贪婪的。这一要求很难建立,因为该领域严重缺乏丰富的高光谱标注数据。
3)架构优化:今天支持使用DL的关键点是它能够处理大量的应用程序。然而,这导致建立深度模型的任务变得更加困难和复杂,而这些模型在处理数据时既便宜又有效。
Proposed 3-D Deep Architecture
该体系结构使用真实的3-D卷积同时处理空间和光谱成分,从而在可训练参数较少的少数可用样本中获得更好的效果。该方案将问题分解为对图像的一系列体积表示的处理。因此,每个像素都与n × n个空间邻域和f个光谱波段相关联。因此,每个像素被视为n × n × f的体积块。通过三维卷积对原始输入数据(每个像素都包含n*n*f)进行特征提取,逐步转化为一维向量,再通过一维卷积对一维向量进行特征提取。最后通过全连接层和softmax进行分类处理。
下图为每一层的特征形状(SizeOut)的演化(example):
Experiment
本文设计了多种不同层次结构的网络来进行对比,以选择最优的网络结构。
实验证明,八层网络架构取得最好的效果和计算性能,它不仅减少了参数的数量,而且提高了准确率。。原因:多的Conv层确保了数据的更高语义级表示,而Pooling层则保证了表示的降维。这样,FC层入口的向量维数显著降低,从而显著减少了参数的数量。随着准确率的提高,参数数量显著减少。这些测试还证明了空间邻域的选择高度依赖于数据内容。在拥有3 × 3邻域的Pavia Center数据集的情况下,同一模型可以优于中的结果,而在Pavia University的情况下,即使使用5 × 5邻域,它也不能达到最先进的方法结果。 下图为不同层数的网络的训练迭代次数等统计:
本文还测试了高光谱图像分类迁移学习的可能,在帕维亚大学和帕维亚中心之间进行迁移学习(微调)实验:
深度神经网络在进行微调和从零开始训练时,能够保持几乎相同的精度水平(98.4%对98.9%和90.4%对92.9%)。基本上,本文提出的预训练体系结构具有很强的泛化能力。
Conclusion
一般来说,高光谱数据的处理是一个非常微妙的过程,需要有效地利用空间和光谱成分。本文所介绍的三维体系结构不仅能对高光谱数据进行准确的分类,而且能以较低的成本建立对图像的深度理解。最有价值的结果之一是能够高效地优化小型标注数据集上的深度网络,从而降低数据的成本。现在的主要关注点是研究如何创新和增强所创建的模型,以便处理更大更重的数据集。为了解决这一问题,残差网络和密集网络都能够融合不同的表示层次。因此,它们似乎是增强现有CNN体系结构的一个很有吸引力的解决方案。
《3-D Deep Learning Approach for Remote Sensing Image Classification》论文笔记的更多相关文章
- 《Vision Permutator: A Permutable MLP-Like ArchItecture For Visual Recognition》论文笔记
论文题目:<Vision Permutator: A Permutable MLP-Like ArchItecture For Visual Recognition> 论文作者:Qibin ...
- [place recognition]NetVLAD: CNN architecture for weakly supervised place recognition 论文翻译及解析(转)
https://blog.csdn.net/qq_32417287/article/details/80102466 abstract introduction method overview Dee ...
- 论文笔记系列-Auto-DeepLab:Hierarchical Neural Architecture Search for Semantic Image Segmentation
Pytorch实现代码:https://github.com/MenghaoGuo/AutoDeeplab 创新点 cell-level and network-level search 以往的NAS ...
- 论文笔记——Rethinking the Inception Architecture for Computer Vision
1. 论文思想 factorized convolutions and aggressive regularization. 本文给出了一些网络设计的技巧. 2. 结果 用5G的计算量和25M的参数. ...
- 论文笔记:Fast Neural Architecture Search of Compact Semantic Segmentation Models via Auxiliary Cells
Fast Neural Architecture Search of Compact Semantic Segmentation Models via Auxiliary Cells 2019-04- ...
- 论文笔记:ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware
ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware 2019-03-19 16:13:18 Pape ...
- 论文笔记:DARTS: Differentiable Architecture Search
DARTS: Differentiable Architecture Search 2019-03-19 10:04:26accepted by ICLR 2019 Paper:https://arx ...
- 论文笔记:Progressive Neural Architecture Search
Progressive Neural Architecture Search 2019-03-18 20:28:13 Paper:http://openaccess.thecvf.com/conten ...
- 论文笔记:Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation
Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation2019-03-18 14:4 ...
- 论文笔记系列-DARTS: Differentiable Architecture Search
Summary 我的理解就是原本节点和节点之间操作是离散的,因为就是从若干个操作中选择某一个,而作者试图使用softmax和relaxation(松弛化)将操作连续化,所以模型结构搜索的任务就转变成了 ...
随机推荐
- .NET 使用自带 DI 批量注入服务(Service)和 后台服务(BackgroundService)
今天教大家如何在asp .net core 和 .net 控制台程序中 批量注入服务和 BackgroundService 后台服务 在默认的 .net 项目中如果我们注入一个服务或者后台服务,常规的 ...
- Taurus.MVC 如何升级并运行在NET6、NET7
前言: 之前计划帮某公司架构一个从WPF转向Web的低代码的开发平台,并构思为Taurus.MVC 新增微服务的基础功能模块,提供便捷的微服务开发方式,因中途合作中止,代码开发部分后续再上. 最近看到 ...
- 浮点数(UVa11809)题解
浮点数(UVa11809)题解 如题 计算机常用阶码-尾数的形式保存浮点数.如下所示,若阶码有6位,尾数有8位,可以表达的最大的浮点数为0.1111111112 * 2 ^ 1111112.注意小数点 ...
- Ubu18开机自启动-Systemd
参考链接: https://blog.csdn.net/qq_16268979/article/details/114771854 本文内容为个人测试记录,具体文件目录请以读者自己电脑为准,此处只是提 ...
- BZOJ3295/Luogu3157 [CQOI2011]动态逆序对 (CDQ or 树套树 )
/* Dear friend, wanna learn CDQ? As a surprice, this code is totally wrong. You may ask, then why yo ...
- CF383C Propagating tree (线段树,欧拉序)
\(tag\)没开够\(WA\)了一发... 求出\(dfs\)序,然后按深度分类更新与查询. #include <iostream> #include <cstdio> #i ...
- Linux 13 配置服务自启动
参考源 https://www.bilibili.com/video/BV187411y7hF?spm_id_from=333.999.0.0 版本 本文章基于 CentOS 7.6 准备 我们通常的 ...
- C++ 运行单个实例,防止程序多次启动
利用内核对象 封装的类,使用运行单个实例,防止多次启动Demo 例子下载地址:http://pan.baidu.com/share/link?shareid=3202369154&uk=303 ...
- 一个监控工具monit
最近看了一个问题,monit监控在读取配置文件之后,访问的文件是残留在容器中的,导致认为服务异常,其实一开始容器启动,并没有对应的服务. [root@10-36-235-119.fin-wealth- ...
- 痞子衡嵌入式:浅析IAR下调试信息输出机制之硬件UART外设
大家好,我是痞子衡,是正经搞技术的痞子.今天痞子衡给大家分享的是IAR下调试信息输出机制之硬件UART外设. 在嵌入式世界里,输出打印信息是一种非常常用的辅助调试手段,借助打印信息,我们可以比较容易地 ...