目录

摘要

为机器学习应用程序学习良好功能的过程可能在计算上非常昂贵，并且在数据很少的情况下可能会变得困难。一个典型的例子是one-shot学习设置，在这种情况下，我们必须仅对每个新类的一个单独示例给出正确的预测。在本文中，我们探索了一种学习孪生神经网络的方法，该方法采用唯一的结构来自然地使输入之间的等级相似。调整好网络后，我们便可以利用强大的判别功能，将网络的预测能力不仅适用于新数据，而且适用于来自未知分布的全新类别。使用卷积架构，可以轻松获得强大的结果，该结果超过了在one-shot分类任务中具有最先进性能的其他深度学习模型的结果。

方法

我们通过具有监督性的基于度量的方法使用孪生神经网络来学习图像表示，然后将该网络的功能重新用于one-shot学习，而无需进行任何再训练。
在我们的实验中，我们将注意力集中在字符识别上，尽管基本方法几乎可以用于任何形式。对于这个领域，我们使用大型siamese卷积神经网络，其中 a）能够学习通用图像特征，这些特征对于做出未知类分布的预测很有用，即使这些新分布中只有很少的例子可用；
b）使用标准优化技术对从源数据采样的对进行轻松训练；
c）提供一种竞争性方法，该方法不依赖于特定知识，而是利用深度学习技术。

用于图像验证的深度孪生网络

模型

下图是一个简单的2隐藏层孪生网络，用于通过逻辑预测p进行二值分类。 该网络的结构在整个顶部和底部复制到一个双胞胎网络中，并在每一层共享权重矩阵。
我们的标准模型是一个孪生卷积神经网络，其中$L$层各具有$N_{l}$个单元，$\mathbf{h}_{1, l}$代表第一个双胞胎在$l$层中的隐藏矢量，$\mathbf{h}_{2, l}$代表第二对双胞胎在$l$层中的隐藏矢量。我们在前$L-2$层中使用整流线性（ReLU）单元，在其余层中使用S形单元。
该模型由一系列卷积层组成，每个卷积层使用单个通道，且滤波器的大小各不相同，固定步幅为1。为了优化性能，将卷积滤波器的数量指定为16的倍数。网络对输出特征图应用ReLU激活函数，然后可选地进行最大池化，滤波器大小和步幅为2。因此，每层的第k个滤波器图采用以下形式：
$\begin{array}{l} a_{1, m}^{(k)}=\max -\operatorname{pool}\left(\max \left(0, \mathbf{W}_{l-1, l}^{(k)} \star \mathbf{h}_{1,(l-1)}+\mathbf{b}_{l}\right), 2\right) \\ a_{2, m}^{(k)}=\max -\operatorname{pool}\left(\max \left(0, \mathbf{W}_{l-1, l}^{(k)} \star \mathbf{h}_{2,(l-1)}+\mathbf{b}_{l}\right), 2\right) \end{array}$
其中$\mathbf{W}_{l-1, l}$表示第$l$层特征图的3维张量，我们采用了*是有效的卷积运算，对应于仅返回那些在每个卷积滤波器和输入特征图之间完全重叠的结果的输出单元。
最终卷积层中的单元被固定为一个向量。该卷积层之后是一个完全连接的层，然后再一层计算每个孪生双胞胎之间的感应距离度量，该距离度量被提供给单个S型输出单元。
更准确地，将预测矢量给定为$p=\sigma\left(\sum_{j} \alpha_{j}\left|\mathbf{h}_{1, L-1}^{(j)}-\mathbf{h}_{2, L-1}^{(j)}\right|\right)$，其中$σ$是$S$形激活函数。最后一层在第$（L-1）$个隐藏层的学习特征空间上引入度量，并对两个特征向量之间的相似性进行评分。 $\alpha_{j}$是模型在训练过程中学习的其他参数，加权了分量方向距离的重要性。这定义了最后的$L_{th}$全连接层，将两个孪生双胞胎连接在一起。
下图显示了我们考虑的模型的最大版本。该网络还为验证任务中的任何网络提供了最佳结果。没有显示连体双胞胎，但在4096个单位的全连接层之后立即加入，其中计算了向量之间的L1分量方向距离。

学习

Loss function

令$M$代表小批量的大小，其中$i$是第$i$个小批量的索引。现在让$\mathbf{y}\left(x_{1}^{(i)}, x_{2}^{(i)}\right)$是一个长度为M的向量，其中包含小批量的标签，在这里我们假设$x_{1}$和$x_{2}$来自同一字符类时$\mathbf{y}\left(x_{1}^{(i)}, x_{2}^{(i)}\right)=1$，否则为0。我们在二进制分类器上采用以下形式施加正则化交叉熵目标：
$\begin{array}{c} \mathcal{L}\left(x_{1}^{(i)}, x_{2}^{(i)}\right)=\mathbf{y}\left(x_{1}^{(i)}, x_{2}^{(i)}\right) \log \mathbf{p}\left(x_{1}^{(i)}, x_{2}^{(i)}\right)+ \\ \left(1-\mathbf{y}\left(x_{1}^{(i)}, x_{2}^{(i)}\right)\right) \log \left(1-\mathbf{p}\left(x_{1}^{(i)}, x_{2}^{(i)}\right)\right)+\boldsymbol{\lambda}^{T}|\mathbf{w}|^{2} \end{array}$

Optimization

这个目标与标准的反向传播算法结合在一起，在该算法中，由于权重的关系，整个双子网络的梯度是相加的。我们以学习速率$\eta_{j}$，动量$\mu_{j}$和$L_{2}$正则化权重$\lambda_{j}$逐层定义的方式来固定最小批量大小为128，因此我们在时间点T的更新规则如下：
$\begin{array}{c} \mathbf{w}_{k j}^{(T)}\left(x_{1}^{(i)}, x_{2}^{(i)}\right)=\mathbf{w}_{k j}^{(T)}+\Delta \mathbf{w}_{k j}^{(T)}\left(x_{1}^{(i)}, x_{2}^{(i)}\right)+2 \lambda_{j}\left|\mathbf{w}_{k j}\right| \\ \Delta \mathbf{w}_{k j}^{(T)}\left(x_{1}^{(i)}, x_{2}^{(i)}\right)=-\eta_{j} \nabla w_{k j}^{(T)}+\mu_{j} \Delta \mathbf{w}_{k j}^{(T-1)} \end{array}$

Weight initialization

我们从零均值和$10^{-2}$的标准偏差的正态分布初始化卷积层中的所有网络权重。Biases也服从正态分布初始化，但平均值为0.5，标准差为$10^{-2}$。在完全连接的层中，以与卷积层相同的方式来初始化偏差，但是权重是从更宽的正态分布中得出的，均值为零，标准偏差为$2*10^{-1}$。

Learning schedule

尽管我们为每一层设置了不同的学习率，但每个时期学习率在网络上均匀衰减了1％，因此$\eta_{j}^{(T)}=0.99 \eta_{j}^{(T-1)}$。我们发现，通过对学习速率进行退火，网络能够更轻松地收敛到局部最小值，而不会陷入错误表面。我们将动量固定为每层从0.5开始，每个时期线性增加，直到达到值$\mu_{j}$，即第$j$层的各个动量项。
我们对每个网络进行了最多200个时期的训练，但是监视了从验证集中的字母和抽屉随机生成的一组320个one-shot学习任务中的one-shot验证错误。当验证误差没有减少20个时间段时，我们根据one-shot验证错误停止并在最佳时间使用模型的参数。如果验证误差在整个学习计划中继续减少，我们将保存此过程生成的模型的最终状态。

Hyperparameter optimization

我们使用贝叶斯优化框架Whetlab的Beta版来执行超参数选择。对于学习计划和正则化超参数，我们设置分层学习率$\eta_{j} \in\left[10^{-4}, 10^{-1}\right]$，分层动量$\mu_{j} \in\left[0, 1\right]$和分层$L_{2}$正则化惩罚$\lambda_{j} \in\left[0, 0.1\right]$。对于网络超参数，卷积滤波器的大小从3x3到20x20不等，而每层中的卷积滤波器的数量在16到256之间（使用16的倍数）变化。全连接层的范围从128到4096个单位，也是16的倍数。我们设置优化程序以最大化one-shot验证设置的准确性。分配给单个Whetlab迭代的分数是在任何时期发现的该指标的最高值。

Affine distortions

另外，我们用小的假性失真来增强训练集。对于每个图像对$x_{1}$，$x_{2}$，我们生成了一对微妙的变换$T_{1}$，$T_{2}$，以产生$\mathbf{x}_{1}^{\prime}=T_{1}\left(\mathbf{x}_{1}\right), \mathbf{x}_{2}^{\prime}=T_{2}\left(\mathbf{x}_{2}\right)$，其中$T_{1}$，$T_{2}$由多维均匀分布随机确定。任意变换$T$，我们有$T=\left(\theta, \rho_{x}, \rho_{y}, s_{x}, s_{y}, t_{x}, t_{x}\right)$，其中$\theta \in\left[-10.0, 10.0\right]$，$\rho_{x}, \rho_{y} \in[-0.3,0.3]$，$s_{x}, s_{y} \in[0.8,1.2]$和$t_{x}, t_{y} \in[-2,2]$。转换的每个这些分量都以0.5的概率包括在内。
下图为Omniglot数据集中的单个字符生成的随机假象失真样本。

实验

我们在综合描述的Omniglot数据集的子集上训练了模型。然后，我们提供有关验证和one-shot性能的详细信息。

The Omniglot Dataset

Omniglot数据集是由Brenden Lake及其同事通过亚马逊的Mechanical Turk收集的，目的是从手写字符识别域中的几个示例中产生可供学习的标准基准。Omniglot包含来自50个字母的示例，这些示例的字母来自公认的国际语言，例如拉丁语和韩语。它还包括一些虚构的字符集，例如Aurek-Besh和Klingon。
每个字母中的字母数量从大约15个字符到最多40个字符不等。这些字母中的所有字符都是由20个drawers中的每个drawers一次生成的，Lake将数据分为40个字母背景集和10个字母评估集。我们保留这两个术语是为了与可以从背景集生成的正常训练，验证和测试集区分开，以调整模型以进行验证。背景集用于通过学习超参数和特征映射来开发模型。相反，评估集仅用于衡量分类性能。

Verification

结论

我们已经通过深度卷孪生神经网络进行验证来提出一种执行one-shot分类的策略。我们概述了将网络性能与为Omniglot数据集开发的现有最新分类器进行比较的新结果。我们的网络大大超过了所有可用的基准，并接近以前的作者所达到的最佳数字。我们认为这些网络在此任务上的强大性能不仅表明我们的度量学习方法可以实现人类级别的准确性，而且该方法还应扩展到其他域的one-shot学习任务，尤其是图像分类。
在本文中，我们仅考虑通过使用全局亲和变换处理图像对及其失真来训练验证任务。我们一直在尝试一种扩展算法，该算法利用有关单个笔划轨迹的数据来产生最终的计算失真。希望通过在笔触上进行局部仿射变换并将其覆盖到合成图像中，我们希望我们可以学习更好地适应新示例中常见变化的特征。

Siamese Neural Networks for One-shot Image Recognition, (2015), Gregory Koch, Richard Zemel, Ruslan Salakhutdinov.
pdf
code