Temporal Segment Networks: Towards Good Practices for Deep Action Recognition

Abstract.

  深度卷积网络对于静止图像的视觉识别已取得了巨大的成功。然而，对于视频的行为识别，传统方法的优势并不那么明显。本文旨在探索针对视频中行为识别的一种有效的 $ConvNet$ 体系结构的设计原则，以及如何在有限的训练样本下来学习这些模型。我们第一个贡献就是 $temporal$ $segment$ $network$ ($TSN$)，一个基于视频行为识别的新型架构，这是基于长期时间结构建模的思想。它将稀疏时间采样策略和基于视频的监督相结合，使得整个动作视频能够高效地学习。另一个贡献就是利用 $TSN$ 的帮助，学习 $ConvNets$ 在视频数据方面的处理。我们的方法在 $HMDB51$($69.4$%) 和 $UCF101$ ($94.2$%) 数据集上已经获得了最先进的性能。我们还对已学习的 $ConvNet$ 模型进行可视化，这些模型定性地证明了时间段网络的有效性并且提出了良好实践。

1、 Introduction

  基于视频的动作识别已经引起了学术界的极大关注，由于它在很多领域上的应用，如安全和行为分析。在动作识别中，有两个至关重要且互补的方面：外观和动态。识别系统的性能在很大程度上取决于它是否能够从中提取和利用相关信息。然而，由于尺度变化、视点变化和摄像机运动等一系列复杂性，所以提取这类信息并非易事。因此，设计 能够处理这些挑战并且同时保留动作类的分类信息 的有效表示变得至关重要。近来，$ConvNets$ 在对象、场景和复杂事件的图像分类方面取得了巨大的成功。$ConvNets$ 也被引入去解决基于视频的动作识别问题。深度 $ConvNets$ 具有强大的建模能力，在大规模监督数据集的帮助下，可以从原始数据中学习到判别表示。然而与图像分类不同，端到端的深度 $ConvNets$ 仍然无法在基于视频的动作识别上中比传统认为设计特征获得更大的优势。

  ;在我们看来，$ConvNets$ 在基于视频的动作识别的应用是受到两个主要障碍的阻碍。第一，长期时间结构在理解动作视频中的动态方面起着至关重要的作用。然而主流的 $ConvNet$ 框架通常关注外观和短期运动，因此缺乏整合长期时间结构的能力。最近进行着一些尝试为了解决这个问题。这些方法大多依赖于具有预定义采样间隔的密集时间采样。当应用于长视频序列时，这个方法可能会产生过多的计算成本，这限制真实世界实践中的应用，并且存在丢失长度超过最大长度的视频中重要信息的风险。第二，在实践中，训练深度 $ConvNets$ 需要大量的训练样本才可达到最优性能。然而，由于数据收集和注释的困难，所以公开可用的动作识别数据集（$e.g.$ $UCF101$, $HMDB51$）在尺寸和多样性方面仍然是有限的。因此，深度 $ConvNets$ 在图像分类方面已经取得了显著的成功，同时也面临着过拟合的高风险。

  这些挑战激励着我们去学习两个问题：（1）如何设计一个有效且高效的视频级框架，用于学习能够捕获长期时间结构的视频表示。（2）如果在有限训练样本情况下学习 $ConvNet$ 模型。特别是，我们成功的在双流架构的基础上构建了我们的方法，并处理了以上提及的问题。在时间结构建模方面，关键的观察到了连续帧是高度冗余的。因此，导致了高度相似采样帧的密集时间采样是不必要的。相反在这种情况下，一个稀疏时间采样策略会更有利。受此启发，我们开发了一个视频级的框架，叫时间段网络（$TSN$）。该框架采用稀疏采样方案，在一个长视频序列上提取短片段，其中样本沿时间维度均匀分布。在此基础上，采用分段结构用于从采样段中收集信息。从这个意义上来说，时间段网络能够对整个视频进行长期时间结构建模。此外，这种稀疏采样策略以极低的成本保存相关信息，从而在合理的时间和计算资源预算下实现长视频序列的端到端学习。

  为了去爆发出 $TSN$ 架构的全部潜能，我们采用了最近引入的极深的 $ConvNet$ 架构，并探索了大量良好实践，为了克服由有限数量的训练样本而造成的上述困难。（1）交叉模式预训练（2）正规化（3）增加的数据扩充。与此同时，为了充分利用视频中的视觉内容，我们对双流 $ConvNets$ 的四种类型的输入模态进行了实证研究，即单个 $RGB$ 图像，堆叠 $RGB$ 差异，堆叠光流场和堆叠翘曲光流场。

  我们在两个具有挑战性的动作识别数据集上进行实验，即 $UCF101$ 和 $HMDB51$，以证明我们方法的有效性。在实验中，这两个具有挑战性的动作识别数据集上使用时间片段网络学习的模型远远超过目前的技术水平。我们还可视化了我们学到的两流模型，试图为将来的动作识别研究提供一些见解。

2、Related Works

3、Action Recognition with Temporal Segment Networks

  在本节中，我们将详细介绍如何使用 $TSN$ 进行动作识别。具体来说，我们首先介绍了 $TSN$ 的基本概念。在此基础上，研究了 $TSN$ 框架下学习双流 $ConvNets$ 的良好实践。最后，我们描述了所学习的双流卷积神经网络的测试细节。

3.1 Temporal Segment Networks

  正如我们在第一节中所讨论的，当前形式的双流 $ConvNets$ 的一个明显问题是它们无法对长期时间结构进行建模。这主要是由于它们对时间上下文的访问有限，因为它们被设计为只在单个帧（空间网络）或一个短片段中的单个帧堆栈上（时间网络）操作。然而，复杂的动作，如体育动作，在相对较长的时间内包含多个阶段。在这些动作中，如果不能将长期时间结构运用到卷积神经网络训练中，那将是一个巨大的损失。为了解决这个问题，我们提出了 $TSN$，一个视频级框架如 $Figure$ 1,所示，使整个视频的动态建模成为可能。

具体来说，我们提出的 $TSN$ 框架，目的是利用整个视频的视觉信息进行视频级预测，由空间流 $ConvNets$ 和时间流 $ConvNets$ 组成。$TSN$ 并不是在单帧或帧堆栈上工作，而是在从整个视频中稀疏采样得到的一系列短片段上操作。这个序列中的每个片段都将产生自己对动作类的初步预测。然后得出视频片段之间的一致性作为视频级预测。在学习过程中，通过迭代更新模型参数，优化视频级预测的损失值，而不是那些在双流 $ConvNets$ 中使用的片段级预测的损失值。

  形式化上，给定视频 $V$，我们将其分成等长的 $K$段 ${S_1，S_2，···，S_K}$。 然后，$TSN$ 对片段序列进行建模，如下所示：

这里的 $(T_1，T_2，···，T_K)$ 是一系列片段。每个片段 $T_k$ 从其对应的片段 $S_k$ 中随机采样。$F(T_k;W)$ 是带有参数 $W$ 的 $ConvNet$ 的函数，该函数对短代码片段 $T_k$ 进行操作并生成所有类的类分数。分段共识函数 $G$ 将多个短片段的输出组合起来，以获得它们之间关于类假设的一致意见。基于此共识，预测函数 $H$ 预测整个视频中每个动作类的概率。这里我们选择了广泛使用的 $H$ 的 $Softmax$ 函数。结合标准分类交叉熵损失，得到关于片段一致性的最终损失函数：$G=g(F(T_1;W),F(T_2;W),...,F(T_K;W))$ 的形式是：
  其中的 $C$ 是动作类的类别数，$y_i$ 是 $i$ 类的 $ground$ $truth$ 标签。在实验中，根据之前的时间建模工作，将片段数 $K$ 设为 $3$。共识函数 $G$ 的形式仍然是一个开放的问题。在这项工作中，我们使用 $G$ 的最简单的形式，其中 $G_i=g(F_i(T_1),...,F_i(T_K))$。在这里，一个类的得分 $G_i$ 是从同一个类在所有片段上的得分中推断出来的，使用了集合函数 $g$。我们对聚合函数 $g$ 的几种不同形式进行了实证评价，包括平均、最大值和加权平均。其中，均匀平均法用于报告我们的最终识别精度。

  这个 $TSN$ 是可分的，或者至少有次梯度，取决于 $g$ 的选择。这使得我们可以利用多个片段与标准的反向传播算法来联合优化模型参数 $W$。在反向传播过程中，模型参数的梯度 $W$ 关于损失值 $L$ 可以推导为：

其中 $K$ 是 $TSN$ 使用的段数。

  当我们使用基于梯度的优化方法，如随机梯度下降法(SGD)来学习模型参数时，$Eq$. 3 保证参数更新利用了所有片段级预测中得出的分段共识函数 $G$。以这种方式优化，$TSN$ 可以从整个视频而不是一个简短的片段中学习模型参数。与此同时，通过固定所有视频的 $K$，我们组装了一个稀疏的时间采样策略，其中采样的片段只包含帧的一小部分。与以前使用密集采样帧的工作相比，它大大降低了在帧上评估 $ConvNets$ 的计算成本。

3.2 Learning Temporal Segment Networks

  $TSN$ 为视频级学习提供了一个坚固的框架，但要实现最优性能，需要考虑一些实际问题，如训练样本的数量有限。为此，我们研究了在视频数据上训练深度 $ConvNets$ 的一系列良好实践，这些实践也直接适用于学习时间段网络。

Network Architectures.

  网络结构是神经网络设计中的一个重要因素。已有研究表明，更深层次的结构可以提高目标识别性能。然而，原始的双流 $ConvNets$ 已经采用了一种相对浅层的网络结构（$(ClarifaiNet$）。在这项工作中，我们选择了 $Batch$ $Normalization$ ($BN-Inception$)作为构造块，因为它在准确性和效率之间取得了很好的平衡。我们采用原始的 $BN-Inception$ 架构来设计双流 $ConvNets$ 。与原始的双流 $ConvNets$ 一样，空间流卷积神经网络对单个 $RGB$ 图像进行操作，而时间流卷积神经网络以一组连续的光流场作为输入。

Network Inputs.

  我们也有兴趣去探索更多的输入模式，以提高 $TSN$ 的识别能力。最初，双流 $ConvNets$ 使用 $RGB$ 图像作为空间流，叠加光流场作为时间流。在这里，我们建议研究两个额外的模式，即 $RGB$ 差分和翘曲光流场。

  单个 $RGB$ 图像通常对特定时间点的静态外观进行编码，并且缺乏关于前一帧和下一帧的上下文信息。如 $Figure$ 2 所示，两个连续帧之间的 $RGB$ 差描述了外观的变化，可能对应于运动的显著区域。受【28】的启发，我们尝试将叠加 $RGB$ 差作为另一种输入模式，并研究其在动作识别中的性能。

  时间流卷积神经网络以光流场为输入，目的是获取运动信息。然而，在真实的视频中，通常会有摄像机运动，而且光流场可能不会聚焦在人类动作上。如 $Figure$ 2 所示，由于摄像机的运动，在背景中突出显示了大量的水平移动。受密度提高轨迹工作的影响，我们建议采取翘曲光流场作为额外的输入模式。在【2】之后，我们先估计单应矩阵，然后补偿相机运动，再提取出翘曲光流场。如 $Figure$ 2 所示，翘曲光流场抑制了背景运动，使运动集中于行动者。

Network Training.

  由于动作识别的数据集相对较小，训练深度卷积神经网络面临过拟合风险的挑战。针对这一问题，我们设计了以下策略来训练时间段网络中的卷积神经网络。

-Cross Modality Pre-training.
当目标数据集没有足够的训练样本时，预训练是一种有效的方法去初始化 $ConvNets$。当空间网络以 $RGB$ 图像为输入时，很自然会利用在 $ImageNet$ 上训练的模型作为初始化。对于光流场和 $RGB$ 差分等其它形式，它们基本上捕获视频数据的不同视觉方面，并且它们的分布与 $RGB$ 图像的分布不同。提出了一种利用 $RGB$ 模型去初始化 $temporal$ $networks$ 的交叉模态预训练方法。首先，我们通过线性变换将光流场离散为 $0$ 到 $255$ 的区间。此步骤使光流场的范围与 $RGB$ 图像相同。然后，我们修改 $RGB$ 模型的第一卷积层的权值来处理光流场的输入。具体地说，我们对 $RGB$ 信道上的权重进行平均，并用 $temporal$ $networks$ 输入的信道数复制该平均值。这种初始化方法在$temporal$ $networks$中运行良好，减少了实验中过拟合的影响。

-Regularization Techniques.
批量归一化是处理协变量移位问题的重要手段。在学习过程中，批处理归一化将对每个批处理的激活均值和方差进行估计，并将这些激活值转化为标准的高斯分布。这种操作加快了训练的收敛，但也导致了转移过程中的过拟合，由于从有限数量的训练样本中对激活分布的有偏估计。因此，在使用预训练模型初始化后，我们选择固定除第一个外的所有 $BN$ 层的均值和方差参数。由于光流分布不同于 $RGB$ 图像，所以第一卷积层的激活值将有不同的分布，因此需要重新估计平均值和方差。我们称之为部分 $BN$ 策略。同时，在 $BN-Inception$ 架构中，我们在全局池层之后增加了一个额外的 $dropout$ 层，以进一步减少过拟合的影响。空间流对流的 $dropout$ 率为0.8，时间流对流的 $dropout$ 率为0.7。

-Data Augmentation.
数据扩充可以生成多种训练样本，防止严重的过拟合。在原始的双流 $ConvNets$ 中，采用随机裁剪和水平翻转来增加训练样本。我们开发了两种新的数据增强技术：切角和尺度抖动。在角点裁剪技术中，为了避免对图像的中心区域进行隐式聚焦，提取的区域仅从图像的角点或中心选取。在多尺度裁剪技术中，我们将用于 $ImageNet$ 分类中的尺度抖动技术应用于动作识别。我们提出了一个有效的尺度抖动的实现。我们将输入图像或光流场的大小固定为 $256×340$，并且从${256,224,192,168}$ 中随机选择裁剪区域的宽度和高度。最后，这些裁剪区域将调整为 $224×224$ 用于网络训练。实际上，这种实现不仅包含尺度抖动，还涉及纵横比抖动。

3.3 Testing Temporal Segment Networks

  最后，给出了 $TSN$ 的测试方法。由于所有的片段 级卷积神经网络在时间段网络中共享模型参数，因此所学习的模型可以像普通的 $ConvNets$ 一样进行帧间评估。这使得我们可以与不使用时间段网络框架的学习模型进行公平的比较。具体来说，我们按照原始的双流 $ConvNets$ 的测试方案，我们从动作视频中采样了 $25$ 个 $RGB$ 帧或光学堆栈。与此同时，我们剪裁了 $4$ 个角和 $1$ 个中心，并从采样帧中水平翻转以评估 $ConvNets$。对于时空流网络的融合，我们对其进行加权平均。在 $TSN$ 框架内学习时，空间流 $ConvNets$ 与时间流 $ConvNets$ 的性能差距要比原来的双流 $ConvNets$ 小得多。基于这一事实，我们通过设置空间流的权值为 $1$，时间流的权值为 $1.5$ 来给予空间流更多的积分。当使用正常和翘曲的光流场时，对于光流，时间流的权重被分为 $1$，对于翘曲的光流，时间流的权重为 $0.5$。在第3.1节中描述了在 $Softmax$ 归一化之前应用分段一致性函数。为了测试模型是否符合他们的训练，我们在 $Softmax$ 标准化之前融合了25帧的预测分数和不同流。

4 Experiments

  本节内容，我们首先介绍评估数据集和我们方法实现的细节。 然后，我们探讨了学习 $TSN$ 的良好实践。 在此之后，我们通过应用 $TSN$ 框架证明了建模长期时间结构的重要性。 我们还将我们的方法的性能与现有技术进行了比较。 最后，我们可视化我们学到的 $ConvNet$ 模型。

4.1 Datasets and Implementation Details

  我们在两个大型动作数据集上进行实验，$UCF101$ 和 $HMDB51$。$UCF101$ 数据集包含 $101$个动作类和 $13320$ 个视频剪辑。我们遵循 $THUMOS13$ 挑战赛的评估方案，采用三种训练/测试分割进行评估。$HMDB51$ 数据集是来自各种来源的大量真实视频的集合，比如电影和网络视频。数据集包含 $51$ 个动作类和 $6766$ 个视频剪辑。我们的实验遵循最初的评估方案，使用三种训练/测试分割，并报告这些分割的平均准确性。

  我们使用小批量随机梯度下降算法来学习网络工作参数，其中批大小设置为 $256$，动量设置为 $0.9$。我们使用来自 $ImageNet$ 的预训练模型来初始化网络的权值。我们在实验中设置了一个较小的学习率。对于空间网络，学习速率初始化为 $0.001$ 并且每 $2000$ 次迭代后就会下降到其十分之一，在 $4500$ 次迭代时整个训练过程结束。对于时间网络，学习速率初始化为 $0.005$ 并且在 $12000$ 次迭代及 $18000$ 次迭代后就会下降到其十分之一，最大迭代次数设置为 $20000$。关于数据增强，我们使用位置抖动，水平翻转，角落裁剪和尺度抖动等技术，如第 $3.2$ 节所述。为了提取光流和翘曲光流，我们选择在带有 $CUDA$ 的 $OpenCV$ 中实现的 $TVL1$ 光流算法。为了加速训练，我们采用了多个 $GPU$ 的数据并行策略，实现了我们的修改版 $Caffe$ 和 $OpenMPI$。对于空间 $TSN$，$UCF101$ 的整个培训时间约为 $2$ 小时，对于时间 $TSN$，整个培训时间为9小时4个TITANX GPU。在 $UCF101$ 上的全部训练时间，对于空间 $TSNs$ 大约为 $2$ 小时，对于时间 $TSNs$ 大约为 $9$ 小时。

4.2 Exploration Study

  本节内容，第 $3.2$ 节中我们介绍了调查的良好做法，包括训练方案和输入模式。在这项探索性研究中，我们使用具有改编自【23】极深的架构的双流 $ConvNets$，并在 $UCF101$ 数据集的分割 $1$上执行所有实验。

  我们在3.2节中提出了两种训练策略，即交叉模态预训练和带有 $dropout$ 的部分 $BN$。具体来说，我们比较了四种设置：（1）从头训练（2）只预训练空间流（3）交叉模态预训练（4）结合交叉模态预训练和带有 $dropout$ 的部分 $BN$。结果如 $Table$ 1 所示。首先，我们发现从零开始的训练效果比原始的双流 $ConvNets$(基线)差很多，这意味着为了降低过拟合风险的精心设计的学习策略是必要的，特别是对于空间网络。然后，通过对空间流的预训练和对时间流的交叉模态预训练来初始化双流 $ConvNets$，并且获得了比基线更好的性能。我们进一步利用带有 $dropout$ 的部分 $BN$ 规范化训练过程，将识别性能提高到 $92.0$%。

我们在第 $3.2$ 节中提出了两种新的模式：即 $RGB$ 差分和翘曲光流场。$Table2$ 中报告了不同模态性能的比较结果。这些实验是在 $Table1$ 中所有良好实践的验证下进行的。我们首先观察到 $RGB$ 图像和 $RGB$ 差的组合将识别性能提高到 $87.3$％。该结果表明 $RGB$ 图像和 $RGB$ 差可以互补编码信息。然后表明光流和翘曲光流产生非常相似的性能（$87.2$％ 对 $86.9$％），并且它们融合后可以将性能提高到 $87.8$％。结合所有四种模态可以获得 $91.7$％的准确率。由于 $RGB$ 差异可能描述相似但不可识别的运动模式，我们也评估了其他三种模式结合后的性能，并带来了更好的识别精度（$92.3$％对 $91.7$％）。一方面，我们推测光流更好地捕获运动信息，并且对于描述运动，$RGB$ 差有时可能不稳定以。另一方面，$RGB$ 差可以作为一种低质量、高速的运动表示方法。

4.3 Evaluation of Temporal Segment Networks

  在本节中，我们重点研究了时间段网络的结构。我们首先研究了分段共识函数的影响，然后在 $UCF101$ 数据集的分割 $1$上比较了不同的卷积网络结构。为了公平比较，我们在此探索中仅使用RGB图像和光流场作为输入模态。如第3.1节所述，段的数量 $K$ 设置为3。

  在 $Eq. (1)$ 中，分段共识函数由其聚合函数 $g$ 定义。在这里，我们为 $g$ 的形式评估三个候选项：（1）最大池化（2）平均池化（3）加权平均。实验结果如 $Table 3$ 所示。我们看到平均池功能实现了最好的性能。因此在接下来的实验中，我们选择平均池作为默认的聚合函数。然后我们比较了不同网络架构的性能，结果如 $Table 4$ 所示。具体来说，我们比较了三种极深的体系结构：$BN-Inception$，$GoogLeNet$ 和 $VGGNet-16$，所有这些架构都使用前面提到的良好实践进行了训练。在比较的架构中，改编自 $BN-Inception$ 的【23】的极深双流 $ConvNets$ 实现了92.0%的最佳精度。这符合其在图像分类任务中的更好性能。因此，我们选择 $BN-Inception$ 作为时间段网络的 $ConvNet$ 架构。


设置好所有的设计选项后，我们现在将时间片段网络($TSN$)应用于动作识别，结果如 $Table 4$ 所示。$Table 5$ 给出了组件在识别精度方面的分量分析。我们可以看到，即使应用了所有讨论的良好实践，时间段网络也能够提高模型的性能。这证实了长期的时间结构建模对于更好地理解视频中的动作是至关重要的。它是通过时间段网络实现的。

4.4 Comparison with the State of the Art

  在探索了这些良好的实践并了解了 $TSN$ 网络的作用后，我们准备建立最后的动作识别方法。具体来说，我们汇集了三种输入模式和所有被描述为最终识别方法的技术，并在两个具有挑战性的数据集上进行测试，$UCF101$ 和 $HMDB51$，结果如 $Table 6$ 所示。其中我们将我们的方法与传统方法进行比较，例如改进的轨迹（$iDT$），$MoFAP$表示和深度学习表示，例如 $3D$ 卷积网络（$C3D$） ，轨迹汇集深度卷积描述符（$TDD$），分解时空卷积网络（$FSTCN$），长期卷积网络（$LTC$）和密钥量挖掘框架（$KVMF$）。在 $HMDB51$ 数据集上，我们的最佳结果要优于其他方法3.9％，在 $UCF101$ 数据集上优于 $1.1$％。我们的方法的优越性能证明了时间片段网络的有效性，并证明了长期时间建模的重要性。

4.5 Model Visualization

  除了识别精度外，我们还希望对所学习的 $ConvNets$ 模型有进一步的了解。在这个意义上，我们采用了 $DeepDraw$ 工具箱。该工具对只有白噪声的输入图像进行迭代梯度上升。因此，经过多次迭代后的输出可以被视为类可视化，它完全基于 $ConvNet$ 模型内部的类知识。该工具的原始版本只处理 $RGB$ 数据。为了在基于光流的模型上进行可视化，我们调整工具以使用我们的时间 $ConvNet$。结果是，首次将感兴趣的类信息可视化到动作识别的卷积网络模型中。我们从 $UCF101$ 数据集中随机挑选了五个类，$Taichi$，$Punch$，$Diving$，$Long$ $Jump$ 和 $Biking$ 来进行可视化，结果如 $Fig. 3$ 所示。对于 $RGB$ 和光流，我们通过以下三种设置来学习可视化的 $ConvNet$ 模型：（1）无需预训练;（2）只有预先培训（3）具有时间段网络。

  一般来说，有预训练的模型比没有预训练的模型更能表现视觉概念。我们可以看到，没有预先训练的空间和时间模型几乎不能生成任何有意义的视觉结构。通过从训练前过程中转移的知识，空间和时间模型能够捕获结构化的视觉模式。

  我们也很容易注意到，那些只接受短期信息(如单帧)训练的模型，往往会将视频中的风景模式和物体误认为是动作识别的重要证据。例如，在“潜水”课程中，单帧空间流 $ConvNet$ 主要寻找水上和潜水平台，而不是潜水人员。它的时间流对应物，致力于光流，倾向于关注由地表水波引起的运动。
通过时间片段网络引入的长期时间建模，很明显，学习模型更多地关注视频中的人类，并且似乎是对动作类的长期结构进行建模。仍然以“潜水”为例，基于 $TSN$ 的空间卷积神经网络产生了以人为主要视觉信息的图像。不同的姿势可以在图片中辨认出来，描绘了一个跳水动作的不同阶段。这表明用所提出的方法学习的模型可能表现更好，这在我们的定量实验中得到很好的反映。我们向读者提供更多的动作类的可视化和可视化过程的更多细节的辅助材料。

5、 Conclusions

  在本文中，我们介绍了时间段网络（$TSN$），一个视频级框架，旨在建模长期时间结构。 正如在两个具有挑战性的数据集上所演示的那样，这项工作将技术水平提升到了一个新的水平，同时保持了合理的计算成本。 这主要归功于带有稀疏抽样的分段架构，以及我们在本工作中探索的一系列良好实践。 前者提供了一种捕获长期时间结构的有效方法，而后者使在有限的训练集上训练非常深的网络而不发生严重的过拟合成为可能。