《3-D Deep Learning Approach for Remote Sensing Image Classification》论文笔记

论文题目《3-D Deep Learning Approach for Remote Sensing Image Classification》

论文作者：Amina Ben Hamida, Alexandre Benoit , Patrick Lambert, and Chokri Ben Amar, Senior Member , IEEE

论文发表年份：2018

网络简称：3D-CNN

发表期刊：IEEE Transactions on geoscience and remote sensing

Motivation

　　现有的方法仍然局限于当今大型数据集中丰富的空间光谱内容。然而，遥感数据集中光谱和空间内容共存所带来的特异性扩大了将DL方法应用于这些背景的挑战范围。因此，本文的目的是首先探索用于RS高光谱数据集分类的DL体系结构的性能，然后引入一种新的三维DL方法，使光谱和空间信息处理相结合。

Challenges

　　1)高维数据:当处理高维数据时，DL方法的计算成本变得很高。这些高成本主要是由于学习数据抽象和建立从低层次到最高语义解释的有效表示需要缓慢的学习过程。

　　2)重型模型:目前DL模型依靠深度和广度模型取得了显著的成果。因此，需要大量参数从数据本身学习复杂的特征和表示。此外，这种重模型在标记数据方面是贪婪的。这一要求很难建立，因为该领域严重缺乏丰富的高光谱标注数据。

　　3)架构优化:今天支持使用DL的关键点是它能够处理大量的应用程序。然而，这导致建立深度模型的任务变得更加困难和复杂，而这些模型在处理数据时既便宜又有效。

Proposed 3-D Deep Architecture

　　该体系结构使用真实的3-D卷积同时处理空间和光谱成分，从而在可训练参数较少的少数可用样本中获得更好的效果。该方案将问题分解为对图像的一系列体积表示的处理。因此，每个像素都与n × n个空间邻域和f个光谱波段相关联。因此，每个像素被视为n × n × f的体积块。通过三维卷积对原始输入数据（每个像素都包含n*n*f）进行特征提取，逐步转化为一维向量，再通过一维卷积对一维向量进行特征提取。最后通过全连接层和softmax进行分类处理。

　　下图为每一层的特征形状(SizeOut)的演化（example）：

Experiment

　　本文设计了多种不同层次结构的网络来进行对比，以选择最优的网络结构。

　　实验证明，八层网络架构取得最好的效果和计算性能，它不仅减少了参数的数量，而且提高了准确率。。原因：多的Conv层确保了数据的更高语义级表示，而Pooling层则保证了表示的降维。这样，FC层入口的向量维数显著降低，从而显著减少了参数的数量。随着准确率的提高，参数数量显著减少。这些测试还证明了空间邻域的选择高度依赖于数据内容。在拥有3 × 3邻域的Pavia Center数据集的情况下，同一模型可以优于中的结果，而在Pavia University的情况下，即使使用5 × 5邻域，它也不能达到最先进的方法结果。 下图为不同层数的网络的训练迭代次数等统计：

　　本文还测试了高光谱图像分类迁移学习的可能，在帕维亚大学和帕维亚中心之间进行迁移学习（微调）实验：

　　深度神经网络在进行微调和从零开始训练时，能够保持几乎相同的精度水平(98.4%对98.9%和90.4%对92.9%)。基本上，本文提出的预训练体系结构具有很强的泛化能力。

Conclusion

　　一般来说，高光谱数据的处理是一个非常微妙的过程，需要有效地利用空间和光谱成分。本文所介绍的三维体系结构不仅能对高光谱数据进行准确的分类，而且能以较低的成本建立对图像的深度理解。最有价值的结果之一是能够高效地优化小型标注数据集上的深度网络，从而降低数据的成本。现在的主要关注点是研究如何创新和增强所创建的模型，以便处理更大更重的数据集。为了解决这一问题，残差网络和密集网络都能够融合不同的表示层次。因此，它们似乎是增强现有CNN体系结构的一个很有吸引力的解决方案。