1.分类网络（解决高维异变）

近些年来，深度学习成为最成功的技术之一，在计算机视觉领域取得了非常好的表现。受到那些重大突破的激励，把深度学习引入了遥感领域的HSIs分类。相较于传统的基于特征的手动方法，深度学习能够从复杂的高光谱数据自动地学习分析高层级特征。基于深度学习的方法具有这些区别性特征，可以有效地解决第一部分所述的第一个问题(光谱特征的大空间可变性)。在此基础上，已经开发出了大量的深度网络，用来提取HSIs的特征，并且取得了非常好的分类效果。然而，从深层网络中提取的特征类型可能不同，例如频域、空域、频-空域特征通过不同的深度网络提取。该框架内，HSI分类深度网络分为频域特征网络、空域特征网络、频-空域特征网络。这些不同的网络将提取对应的特征，用于后续的分类。接下的第1、2、3部分将会详细地介绍三种网络。

1. 光谱特征网络：光谱信息是HSIs最重要的特征，在分类工作中起着至关重要的作用。可是，高光谱遥感器通常产生大量的包含冗余信息的光谱带 。因此，直接对初始光谱向量进行处理不仅需要大量的计算，而且会使分类效果变差。尽管一些传统的光谱特征提取算法能够提取到有效的光谱特征，但是在这些线性模型的简答的线性处理不足以处理HSIs的复杂光谱特性。在此，我们介绍名为光谱特征网络的基于深度学习框架，用来提取深度光谱特征。
在早期的研究实验中，由于网络层中基于矢量的输入要求，高光谱像素向量被直观地输入到全连接网络中。尤其是初始光谱向量直接以无监督的方式用于训练SAE或者DBN。随后，又发展了一些HSI分类的改进方法。例如，Liu提出了一种基于深度学习和主动学习的有效分类框架，该框架中利用DBN提取深度光谱特征，采用主动学习算法迭代选择高质量的标记样本作为训练样本。与此同时，Zhong提出了一种名为多元DBN的改进DBN模型，用来规范DBN的预训练和微调程序，显著提高了DBN的分类精度。除此之外，1-D CNN、1-D GAN、RNN也用来提取光谱特征。Li利用CNN提取的像素对特征(pixel-pair features, PPFs)来研究高光谱像素之间的相关性，其中卷积运算主要在光谱域进行。此外，在相关文献中，重新提出了利用字典学习进行深度网络训练的新方法。在这些论文中，以一种文件的方法了解字典的多层次性。这种新的观点比一般的深度网络获得了更好的分类结果。
2. 空间特征网络：之前关于HSI分类的研究已经证明了：将空间特征合并到分类器中可以进一步提高分类精度。在此节，我们将讨论利用深度网络提取HSIs空间特征的空间特征网络。为了实现HSI的精确分类，随即将学习得到的空间特征与利用其它特征提取技术得到的光谱特征进行融合。
在文献[56]，[57]，[65]，[66]，[67]中，PCA首先在整个高光谱数据上进行，以降低原始空间的维度，利用输入高光谱像素邻域所包含的空间信息，建立二维CNN模型。上边提到的PCA结合CNN的方法不仅仅提取了可区分的空间特征，而且减少了计算量。文献[68]中Liang和Li介绍了一种更为先进的稀疏表示技术，将CNN提取的深空间特征编码为低维稀疏特征，提高了特征表示的能力和最终分类的准确率。陈等人采取了offthe-shell卷积神经网络来提取深度空间特征。此外，赵和杜提出了一种用于HIS分类的SSFC框架。在此框架内，分别利用平衡的局部判别嵌入(BLDE)和卷积神经网络提取光谱特征和空间特征。然后，将光谱特征与空间特征融合，训练一个基于多元特征的分类器。文献[71]中提出了一种新的名为深度多尺度空间光谱特征提取算法的HIS分类框架，它没有采用合并一个小的空间邻域内像素到一个分类器的方法来提取空间-光谱特征。更详细地，文献[72]第一次采用预训练FCN-8来探究深层多尺度空间结构信息。然后，采用依据权重混合机制来混合原始光谱特征和深度多尺度空间特征。最后，将混合特征代入分类器完成分类操作。
3. 光谱-空间特征网络：该网络(光谱-空间特征网络)能够提取联合深度光谱-空间特征，而不是设计一种深度网络提取光谱或者空间特征。这种联合深度光谱-空间特征主要通过以下三种方法获取：(1)通过深度网络，将低层次光谱-空间特征映射到高层次光谱-空间特征。(2)直接从原始数据或者原始数据的主要成分提取深度特征。(3)混合两种分离的深度特征(深度光谱特征和深度空间特征)。基于此，光谱-空间特征网络可进一步分为三类:基于预处理的网络、集成的网络和基于后处理的网络。图9描述了三种网络的范式，它实际上是根据处理阶段划分的，在处理阶段光谱信息和空间信息被融合。

（1） 基于预处理网络：在此网络中，频谱-空间特征被融合，然后再将它们输入后续的深度网络。一般来说，整个的分类过程可以分为三个阶段：1) 低层次光谱-空间特征混合；2）利用深度网络提取高层次光谱-空间特征；3）带有简单分类器的联合深度SSFC（例如支持向量机，极端学习机ELM，或者多项式逻辑回归）。就像上边所提到的，全连接网络（DBN,SAE及其变体）只能处理一维输入。为了提取联合光谱-空间特征，一个常见的想法是把空间的邻近区域平化成一维向量，然后将已获取的空间向量和初始光谱向量堆叠，传入全连接网络中。对上述的研究，读者可以参考文献[35][37][73][74]。在文献[75][76][77]中，通过计算一个空间邻域内所有像素的均值，得到一个新的光谱向量。最后，这个实际上包含了上下文空间信息的均值频谱向量，由后续的深度网络进行处理。此外，一些其他的滤波方法（Gobar滤波，属性滤波等）没有直接利用邻近窗口的空间信息， 文献[82]引进滚动指导滤波处理初始高光谱数据来提取更有效的空间特征。这些基于滤波的方法将深度学习技术与其他空间特征提取技术结合起来，提供更准确的分类结果。
（2） 集成网络：在文献[58],[83]-[91]中，直接通过二维卷积神经网络(2-D CNN)处理初始数据，提取联合深度光谱-空间特征，而不是分开获取光谱特征和空间特征，再将其一起处理。实际上，高光谱数据通常可以用三维数据集的格式表示。因此，在光谱和空间维度上的三维卷积自然可以为同时提取此类图像中的光谱空间特征提供更有效的方法。基于此，利用三维卷积神经网络有效提取深光谱-空间组合特征，不需要任何预处理和后处理技术，实现HSI的精确分类[56]-[58],[92]-[95]。除了卷积神经网络，一些强大的深度模型也用于HSIs分类。尤其是全卷积网络(FCN)，一个在语义分割领域非常成功的网络，被用来重构高光谱数据，以一种监督或者无监督的方式学习HSIs的深层特征。此外，为HSI分类提取更具有区分度的特征，文献[87],[93],[97]-[99]引入了剩余学习(RL)算法，以此建立一个极深广的网络。图10展示了一个剩余块，输出结果是输入数据与输入数据值的卷积结果的和。文献[46]和[101]中，将三维GAN作为一个分类器。在基于GAN的HSI分类框架中，首先设计一个卷积神经网络来区分输入数据，这被称为区分模型。然后，另外一个卷积神经网络用来生成所谓的伪输入，称为生成模型。文献[103] Paoletti等人将CapsNets改良为光谱-空间仓，提取HSIs的光谱-空间特征。此外，研究者还致力于构建混合深度网络来实现对HSIs的精确分类，从而充分利用不同的深度模型。例如，文献[104]Kemker和Kanan提出了一种无监督式的特征提取框架，通过一个三层堆叠的卷积自动编码器，从无标签的高光谱像素学习一般化的特征。文献[105]Wu和Prasad提出了一个新的深度卷积RNNs(CRNNs)，结合了CNN和RNN模型的优点，利用伪标签对HSIs进行分类。在该网络中，卷积层用来从输入高光谱序列中，提取局部中层次不变特征，而递归层可以从前一卷积层生成的中层特征序列中提取上下文信息。此外，文献[106]提出了一种提取光谱空间特征用于HSI分类的频谱空间级联RNN模型。

（3） 基于后处理的网络：在此类中，整体的分类程序包括以下步骤：1）通过两种深度网络获取深度光谱特征和深度空间特征；2）在全连接层将两种特征混合生成联合深度特征；3）与后续分类器联合基于深光谱空间特征的HSI分类（SVM,ELM, 多项逻辑回归）。值得一提的是，这两种分别用来提取深度光谱特征和空间特征的深度网络可能有相同的权值，或者有完全不同的权值。
例如，文献[107][108]中，提出了一种基于两分支结构的深度卷积神经网络用来从HSIs中提取联合频谱-空间特征。在此框架中，一维CNN分支和二维CNN分支分别用来提取光谱特征和空间特征。之后，将学习到的光谱特征和空间特征连接到全连通层中，提取联合光谱空间特征进行分类。
Hao等人提出了一种新的双流结构HIS分类法，其中一个流使用堆叠去噪AE (SDAE)对每个输入像素的光谱值进行编码，另一个流利用深度CNN对相应的图像块进行处理，从而学习空间特征。最后，利用自适应的类特定权值将两流的预测概率进行混合，其中类特定权值通过全连接层得到。
此外，文献[110][111]采用了两种相似的网络架构，[110] 两个基于主成分分析的网络,[111] 二堆叠稀疏AE，分别提取光谱特征和空间特征。随后，在全连接层将这两种特征混合，利用SVM进一步训练分类。
此外，Santara等人采用了多元CNNs同时处理多个光谱数据集，这些CNNs共享相同的网络参数。实际上，每个CNN的目的是提取几个相邻光谱波段对应的空间特征，将这些单独的空间特征融合到一个全连接层中就可以得到空间-光谱特征。

2.有限训练样本问题（提高分类效果）

事实上，深度网络的训练需要大量的训练样本来学习网络参数。但是在遥感领域，由于标记数据费用高或者耗时，通常只能获得很少一部分标记数据。这个问题也被称为大量的权值和有限的可用训练样本之间的不平衡，可能会导致分类结果较差。最近，提出了一些有效的方法一定程度上解决了该问题。在本章节，我们介绍一些在有限的可用样本条件下的策略，来改进基于深度学习的HSI分类算法。
（1） 数据扩张
数据扩张是有效解决上述问题的一种直观的方法。它从给出已知的样本中，生成新的训练样本。通过整合文献，我们指明了两种主要的生成额外虚拟样例的策略：1）基于转换的样本生成；2）基于混合的样本生成。在后续部分我们将详细地讨论这两种方法。
1） 基于转换的样本生成：由于HSIs中照明的复杂情况，同一类不同位置的物体可能受到不同辐射的影响。基于此，通过转换当前已知的样本可以生成虚拟样本。在文献[56][108][98][80][85]都用到了这种数据扩张的方法。设xi是已知的训练样本，生成的虚拟样本y:

其中f是一个转换函数(执行旋转、翻转或镜像操作),r控制随机高斯噪声n的权重，噪声可以通过相邻像素的相互作用或成像误差产生。最后，新生成的虚拟样本y与xi具有相同的类，可以用来训练深度网络。
2） 基于混合的样本生成：一般来说，同一类物体在一定范围内通常表现出相似的光谱特征。这种现象使得从同一类的两个给定样本中生成一个虚拟样本成为可能。文献[56][78]中，虚拟样本y是两个训练样本xi,xj的线性结合产物，由下式表达：

其中aij表示来自同一类的两个训练样本xi,xj之间的相关性(affinity)。aij通常定义为：

尽管有许多其他生成虚拟样本的技术，但是上边的两种方法简单而且高效。
（2） 迁移学习
迁移学习(TL)是一套将从源数据获取的有用信息传入目标数据的技术，可以有效地降低对训练样本的要求。近些年来，迁移学习已经成功的应用到许多领域，尤其是在遥感领域，文献[114][115]的可获取训练样本并不充足。在文献[77][104][105][107][108]中，利用迁移学习来设定其他训练过的深度网络的网络参数初始值，相比于其他基于随机初始化的方法，这种方法有着更好的分类性能。图11展示了深度网络的一般迁移学习框架。考虑到底层和中间层通常捕获输入图像的一般特征，这些特征对其他图像具有很高的泛化性，因此直接将该网络的底层和中间层的网络参数传输到与之前网络具有相同结构的新网络中，是可行的。值得注意的是，顶层的参数仍然以随机的方式初始化，以便处理特定的任务。一旦网络参数传入，接下来的分类可以进一步分为无监督方法和监督方法。无监督法直接利用已传入参数的网络提取的深层特征来训练分类器。监督法，利用目标数据的少量训练样本进一步对网络进行微调。综上所述，TL通过充分利用现有的数据集，可以有效地解决在可用训练样本有限的情况下网络性能下降的问题。

（3） 无监督/半监督式特征学习
尽管监督式特征学习在HIS分类领域已经取得了重大突破，但是仍然迫切的需要以一种无监督或者半监督的方法学习HIS特征。无监督/半监督式特征学习主要目的是从一些无标记数据中提取有用的特征。近些年来，越来越多的研究工作专注于设计一个健壮和有效的基于深度学习的无监督/半监督特征学习框架，用于HSIs分类。图12阐明了无监督式/半监督式深度特征学习算法。从图中可以看出，上面的流程图仅使用未标记数据来提取HSIs的信息性特征，这实际上是一种无监督的特征学习方式。此深度网络被精心设计为编解码器范式，以不使用标签信息的方式学习网络。通过转换训练好的网络，对标记的数据集进行微调，可以提高分类性能，如图12流程图的底部所示。

例如，文献[35][37][53][54][73][104][111][116]利用全连接网络进行HSIs分类，该网络分为无监督式预训练和标记数据微调。在预训练阶段，先将无标记数据集的简单样本映射为中间特征。然后，通过一次解码操作将中间特征重构。最后，最小化初始样本与重构样本间的误差来获取每层参数。但是，当网络深度较深时，上述贪婪的分层训练方式可能并不有效。更先进的是，文献[97]提出了一种无监督式的端到端的训练框架，其中卷积网络和反卷积网络分别用作编码器和解码器。此外，文献[46][59]采用GAN来构建半监督式特征学习框架用于HIS分类。在该网络中，生成器生成与真实数据相似的假高光谱样本来训练GAN。此外，文献[105]Wu和Prasad利用非参数贝叶斯聚类算法获得大量的未标记数据及其伪标记，预训练CRNN进行HSI分类。这种半监督式学习机制能够提取出更有代表性的光谱空间特征，并提供满意的分类结果。
（4） 网络优化
网络优化的主要目的是通过采取更高效的模块或函数，进一步提高网络性能。例如，当前主流的深度网络采用ReLU作为非线性激活函数，再进行批处理归一化操作[118]，可以有效缓解训练阶段的过拟合问题。此外，文献[87][88][93][97][98]的研究工作引入了RL建立一个深度网络，以提取更多的鉴别特征用于HSI分类。通过优化多个卷积层作为确定映射，RL可以简化训练过程。图10展示了RL的基本机制。设X为第一层的输入，F(X)为初始底层函数，要学习两个堆叠的卷积层。RL实际上试图将两个卷积层作为确定映射进行优化，可以利用跳跃连接实现(图10红线)。引入剩余函数G(X) = F(X) – X，目标函数由原来的F(X) = X等价转换为G(X) = 0。如上述，F(X)可以由式F(X) = G(X) + X 得到。如图10所示，G(X) 通过两个X的卷积运算得到：G(X) = f ( f (X ∗ W1 + b1) ∗ W2 + b2)。其中W1，W2为卷积核，b1，b2为可训练偏差参数，f参考ReLU函数。通过叠加多个剩余块，提取的特征具有更强的鉴别性，大大增加了提取深度，提高了提取精度。深度剩余网络(deep residual network, DRN)的理论和实验证明详见文献[100]。
此外，还利用其他网络优化策略来提高深度网络提取特征的表示能力。例如，文献[54]Zhong等人通过规范化预训练和微调过程，提出了比通常的DBN模型更好的分类精度，提高了DBN的性能。文献[75]，将标签一致性约束纳入SAE训练程序。此外，文献[61]和[89]中的研究网络考虑了样本之间的相关性。
总的来说，网络优化仍然是一个具有挑战性的问题。在未来的工作中，在设计改进的HSI分类网络时，应尽可能考虑HSI的特性。