《Unsupervised Visual Representation Learning by Context Prediction》阅读笔记

摘要

这项工作探索了如何利用空间环境作为自由丰富的监控信号来训练丰富的视觉表示。仅给定一个大型的，未标记的图像集合，我们从每个图像中提取随机的补丁对，并训练卷积神经网络以预测第二个补丁相对于第一个补丁的位置。我们认为，要在此任务上做好工作，就需要模型学习识别物体及其零件。我们证明了使用此图像内上下文学习的特征表示确实捕获了图像之间的视觉相似性。例如，这种表示使我们能够从Pascal VOC 2011检测数据集中对猫，人甚至鸟类等对象执行无监督的视觉发现。此外，我们表明，所学习的ConvNet可以在RCNN框架中使用，并大大增强了随机初始化的ConvNet，从而在仅使用Pascal提供的训练集注释的算法中实现了最先进的性能。

1 介绍

最近，新的计算机视觉方法已经利用了数百万个带有标签的示例的大型数据集，以学习丰富的，高性能的视觉表示。 然而，将这些方法扩展到真正的互联网规模的数据集（即数千亿张图像）的努力因所需的人工注释的巨大费用而受阻。 解决此难题的方法是采用无监督学习，其目的是使用没有任何注释的数据。 不幸的是，尽管经过数十年的不懈努力，但尚未显示出无监督的方法可以提取大量全尺寸，真实图像的有用信息。 毕竟，没有标签，甚至不清楚应该代表什么。 如果没有标记任何对象，如何设计一种目标函数来鼓励表示捕获例如对象？
有趣的是，在文本领域，上下文已被证明是学习表示的自动监督信号的强大来源。 给定较大的文本语料库，其思想是训练将每个单词映射到特征向量的模型，以便在给定向量的情况下轻松预测上下文中的单词（即之前和/或之后的几个单词）。 这将一个看似无监督的问题（在单词之间找到一个良好的相似性度量）转化为“自我监督”的问题：从给定单词到围绕它的单词学习一种功能。 在这里，上下文预测任务只是一个“借口”，用来迫使模型学习良好的词嵌入，这反过来又被证明在许多实际任务中很有用，例如语义词相似性。
我们的论文旨在为图像数据提供类似的“自我监督”表述：涉及预测补丁上下文的监督任务。我们的任务如图1和2所示。我们以八种空间配置之一对随机的补丁对进行采样，然后将每对补丁提供给机器学习者，不提供有关补丁在图像中原始位置的信息。该算法必须
猜一个补丁相对于另一个补丁的位置。我们的基本假设是，在此任务上做得好需要了解场景和物体，即，要完成此任务的良好视觉表现，就需要提取物体及其部分，以便推断它们的相对空间位置。毕竟，“物体”由可以彼此独立检测的多个部分组成，并且以一种特定的空间配置（如果这些部分没有特定的配置，则为“填充” ）出现。我们提出一种基于ConvNet的方法来从此任务中学习视觉表示。我们证明了所得的视觉表示形式既适用于对象检测，又与从头开始学习以及无监督的对象发现/可视数据挖掘相比，对PASCAL VOC 2007有显着提升。出乎意料的是，这意味着尽管使用了一次作用于单个图像的目标函数对其进行了训练，但我们的表示仍在图像中进行了概括。也就是说，实例级监督似乎可以提高类别级任务的性能。

2 相关工作

认为图像表现良好的一种方法是将其作为适当生成模型的潜在变量。理想的自然图像生成模型既要根据其自然分布生成图像，又要简洁，因为它会寻找不同图像的共同原因并在它们之间共享信息。但是，即使是相对简单的模型，也很难推断出给定图像的潜在结构。处理对于这些计算问题，许多工作（例如唤醒算法，对比发散，深度Boltzmann机器和变分贝叶斯方法）都使用采样来执行近似推断。生成模型在较小的数据集（如手写数字）上显示出令人鼓舞的性能，但事实证明，这些模型都不能有效地用于高分辨率自然图像。无监督表示学习也可以表述为学习嵌入（即每个图像的特征向量），其中语义相似的图像很近，而语义不同的图像则很远。建立这种表示形式的一种方法是创建一个受监管的“代理”任务，以便解决该任务的嵌入对其他实际任务也很有用。例如，去噪自动编码器使用从噪声数据中重建数据作为借口任务：该算法必须将图像与其他具有相似对象的图像连接起来，以分辨出噪声和信号之间的差异。稀疏自动编码器还将稀疏惩罚与重构一起用作借口任务，并且可以将此类自动编码器堆叠起来以形成深层表示。 （但是，仅成功应用于全尺寸图像，需要一百万个CPU小时才能发现三个目标对象）。我们认为，当前基于重构的算法会遇到诸如随机纹理之类的低级现象，这使得很难衡量模型是否生成良好。

另一个代理任务是“上下文预测”。在文本域中已经存在用于此类任务的强大传统，其中已显示出“跳过语法”模型来生成有用的词表示形式。这个想法是训练一个模型（例如深度网络）以从单个单词预测前n个和后n个单词。原则上，类似的推理可以应用于图像领域，这是一种视觉上的“填补空白”任务，但是，同样会遇到确定预测本身是否正确的问题，除非人们只在乎预测非常低层的功能。为了解决这个问题，通过对其周围区域的可传递最近邻居的一致投票来预测图像区域的外观。我们之前的工作明确地制定了统计检验，以确定通过预测还是通过低级空假设模型可以更好地解释数据。这些方法必须解决的关键问题是，由于同一语义对象可能产生大量像素，因此预测像素要比预测单词困难得多。在文本领域，一个有趣的想法是从纯粹的预测任务切换到判别任务。在这种情况下，代理任务是将文本的真实片段与随机替换了一个单词的相同片段区分开。将此直接扩展到2D可能是要区分真实图像与图像中的某个部分图像已被数据集中其他位置的随机图像替换的图像。 但是，由于区分低级颜色统计信息和照明就足够了，所以这样的任务将是微不足道的。 为了使任务更艰巨和更高级，在本文中，我们将在从同一张图像采样的补丁的多个可能配置之间进行分类，这意味着它们将共享照明和颜色统计信息，如图2所示。 从图像中进行无监督学习的目的是利用手工制作的特征和各种形式的聚类来发现对象类别（例如，通过视觉单词袋学习生成模型）。 这样的表示会丢失形状信息，并且很容易发现树叶丛集。
随后的一些工作试图使用与形状更紧密相关的表示，但依赖于轮廓提取，这在复杂图像中很困难。许多其他方法集中于定义可在更多标准聚类算法中使用的相似性度量。例如，将问题重铸为频繁项集挖掘。几何也可用于验证图像之间的链接，尽管这对于可变形对象可能会失败。视频可以为表示学习提供另一种提示。对于大多数场景，即使外观随时间变化，对象的标识也保持不变。这种时间连贯性在视觉学习文献中已有悠久的历史，同时工作对现代的检测数据集表现出了很大的改进。最后，我们的工作涉及判别性补丁挖掘的一系列研究，该研究强调了弱监督作为对象发现的一种手段。像当前的工作一样，他们强调在学习完整的对象和场景之前学习补丁的表示（即对象部分）的效用，并认为场景级别的标签可以作为代理任务。例如，训练识别器对不同的地理位置敏感，但实际目标是发现建筑风格的特定元素。

3 学习视觉上下文预测

我们旨在为我们的代理任务学习图像表示，即预测图像中补丁的相对位置。 我们采用卷积神经网络（ConvNets），众所周知，该算法可通过最少的人为特征设计来学习复杂的图像表示。 从原理上讲，构建一个可以预测一对补丁的相对偏移的ConvNet很简单：网络必须通过几个卷积层馈入两个输入面片，并产生一个输出，该输出为可能已经采样的八个空间配置（图2）中的每个分配概率（即softmax输出）。 但是请注意，我们最终希望学习针对单个补丁的特征嵌入，以使视觉相似（跨越不同图像）的补丁在嵌入空间中接近。

为了达到这个目的，我们使用图3所示的后期融合架构：一对AlexNet风格的架构分别处理每个补丁，直到深度类似于AlexNet中的fc6为止，然后融合表示特征。 对于仅处理补丁程序之一的层，权重被束缚在网络的两侧之间，以便为两个补丁程序计算相同的fc6级嵌入功能。 由于联合推理的能力有限（即，只有两层从两个补丁接收输入），因此我们希望网络对每个补丁分别执行大部分语义推理。 在设计网络时，我们尽可能遵循AlexNet。 为了获得给定图像的训练示例，我们对第一个补丁进行统一采样，而无需参考图像内容。 给定第一个补丁的位置，我们从八个可能的相邻位置中随机采样第二个补丁，如图2所示。

• 3.1 避免“琐碎”的解决方案
  在设计前置任务时，必须注意确保该任务强制网络提取所需的信息（在本例中为高级语义），而无需采取“琐碎的”捷径。 在我们的案例中，像边界图案或贴片之间连续的纹理之类的低级提示可能会充当这样的捷径。 因此，对于相对预测任务，在补丁之间包括一个间隙（在我们的情况下，大约为补丁宽度的一半）非常重要。 即使存在间隙，跨越相邻补丁的长线也可能会给出正确的答案。 因此，我们还将每个补丁位置随机抖动多达7个像素（参见图2）。但是，即使采取这些预防措施也是不够的：我们惊讶地发现，对于某些图像，还存在另一个简单的解决方案。我们将问题归结为一个意外的元凶：色差。色差是由透镜聚焦不同波长的光的方式不同引起的。在某些相机中，一个颜色通道（通常为绿色）相对于其他颜色通道朝着图像中心缩小。事实证明，ConvNet只需检测绿色和品红色（红色+蓝色）之间的分隔，就可以学会相对于镜头本身定位色斑（请参阅第4.2节）。一旦网络获悉镜头上的绝对位置，解决相对位置任务就变得微不足道了。为了解决这个问题，我们尝试了两种预处理。 一种是将绿色和洋红色移向灰色（“投影”）。具体来说，令$a = [-1,2,-1]$（RGB空间中的“绿色-品红色色轴”）。然后，我们定义$B = I-a^T a /（aa^T)$，这是一个将颜色投影到绿色-品红色轴上的矩阵。我们将每个像素值乘以B。一种替代方法是从每个色标中随机丢弃3个颜色通道中的2个(“颜色降低”), 用高斯噪声代替掉落的颜色（标准偏差约为剩余通道的标准偏差的1/100）。为了获得定性结果，我们展示了“降色”方法，但发现两者的表现相似；对于物体检测结果，我们同时显示两个结果。
  实施细节：我们使用Caffe，并在ImageNet 2012训练集上训练(1.3M图像), 仅使用图像并丢弃标签。首先，我们将每个图像的大小调整为总像素在150K到450K之间，并保留宽高比。从这些图像中，我们以96 x 96的分辨率对色块进行采样。为了提高计算效率，我们仅从类似网格的模式中采样补丁，这样每个采样的补丁可以参与多达8个单独的配对。我们在网格中的采样色块之间允许有48个像素的间隙，但在每个方向上也将每个色块在网格中的位置抖动-7至7个像素。我们通过（1）均值减法（2）投影或滴下颜色（见上文），以及（3）随机将某些色块降采样至少至100个总像素，然后对其进行升采样，以增强像素的鲁棒性来对色块进行预处理。实施细节时：我们使用Caffe [25]，并在ImageNet [10] 2012训练集中进行训练（1.3M图像），仅使用图像并丢弃标签。首先，我们将每个图像的大小调整为总像素在150K到450K之间，并保留宽高比。从这些图像中，我们以96 x 96的分辨率对色块进行采样。为了提高计算效率，我们仅从类似网格的模式中采样补丁，这样每个采样的补丁可以参与多达8个单独的配对。我们在网格中的采样色块之间允许有48个像素的间隙，但在每个方向上也将每个色块在网格中的位置抖动-7至7个像素。我们通过（1）均值减法（2）投影或滴下颜色（见上文），以及（3）随机将某些色块降采样至少至100个总像素，然后对其进行升采样，以增强像素的鲁棒性来对色块进行预处理。当应用简单的SGD训练网络时，我们发现网络预测会退化为8个类别的统一预测，fc6和fc7的所有激活都崩溃为0。这意味着优化永久陷入了一个鞍点它忽略了来自较低层的输入（这有助于最小化最终输出的方差），因此该网络无法调整较低层的特征并逃脱鞍点。因此，我们的最终实现采用bach normalization，这会迫使网络激活因示例而异。我们还发现，较高的动量值（例如.999）可以加速学习。对于实验，我们使用在K40 GPU上训练的ConvNet大约四个星期。

4 实验

我们首先证明网络已经学会了使用简单的最近邻居匹配来关联语义相似的补丁。 然后，我们将训练后的网络应用于两个领域。 首先，我们将模型用作仅具有有限训练数据的标准视觉任务的“预训练”：具体地说，我们使用VOC 2007对象检测。 其次，我们评估视觉数据挖掘，其目标是从未标记的图像集合开始并发现对象类。 最后，我们分析布局预测“代理任务”的性能，以了解可从此监督信号中学习到的内容。

• 4.1 最近邻
  回想一下我们的直觉，即训练应将相似的表示分配给语义相似的补丁。在本节中，我们的目标是了解我们的网络认为哪些补丁相似。我们从对随机的96x96补丁进行采样开始，我们使用fc6功能表示这些补丁（即我们删除了图3中所示的fc7和更高版本，并且仅使用两个堆栈之一）。我们使用这些特征的归一化相关性找到最近的邻居。图4中显示了一些补丁的结果（从1000个随机查询中选择）。为进行比较，我们使用ImageNet上训练的AlexNet的fc7功能（通过对补丁进行上采样获得）重复了实验，并使用了我们架构中的fc6功能，但没有任何训练（随机权重初始化）。如图4所示，我们的功能返回的匹配项通常会捕获我们所需要的语义信息，在语义内容方面匹配AlexNet（在某些情况下，例如车轮，匹配项捕获的姿势更好）。有趣的是，在少数情况下，随机（未经训练）的ConvNet也表现得相当不错。
  
• 4.2 另外：色差的易学性
  我们在早期的最近邻实验中注意到，一些修补程序从图像中的同一绝对位置检索了修补程序，而与内容无关，因为这些修补程序显示出相似的像差。 为了进一步证明这种现象，我们训练了一个网络来预测从ImageNet采样的补丁的绝对$（x，y）$坐标。 尽管此回归器的整体准确性不是很高，但对于某些图像来说却表现出奇的好：对于图像的前10％，平均（均方根）误差为.255，而偶然表现（始终可以预测图像） 中心）的RMSE为.371。 图5显示了这样一种结果。 应用建议的“投影”方案会将图像顶部10％的误差增加到0.321。
• 4.3 目标检测
  Pascal VOC挑战的先前工作显示，在ImageNet上进行预训练（即训练ConvNet以解决ImageNet挑战），然后对网络进行“微调”（即对PASCAL数据重新训练ImageNet模型）可以使得仅在Pascal训练集上的训练大大提高了。 但是，据我们所知，没有工作表明，不管使用多少数据，对图像进行无监督的预训练都可以提供这样的性能提升。由于我们已经在使用ConvNet，因此我们采用了当前最先进的R-CNN。R-CNN可处理n个对象目标，这些目标已调整为227x227。但是，我们的算法针对的是96x96补丁。我们发现将提案抽样到96x96会丢失太多细节。取而代之的是，我们采用图6所示的架构。
  同样，我们只使用了图3中的一个堆栈。其次，我们调整了卷积层的大小，以对227x227的输入进行操作。他的结果是在空间上是7x7的pool5，因此我们必须在fc层之后将先前的fc6层转换为卷积层（称为 conv6）。请注意，我们的conv6层有4096个通道，其中每个单元都连接到pool5的3x3区域。具有4096个通道的转换层直接连接到4096维全连接层将非常昂贵。因此，我们使用1x1内核在conv6之后添加了另一层称为conv6b），这将维数减少到1024个通道（并增加了非线性）。最后，我们将输出通过池化层馈送到完全连接的层（fc7），该层又连接到最终的fc8层，该层馈入softmax。我们根据[19]中描述的过程（conv6b，fc7和fc8以随机权重开头）对网络进行微调，并以fc7作为最终表示。我们不使用边界框回归，而是从[19]和[2]中获得适当的结果。
  表1显示了我们的结果。从头开始训练（随机初始化）的体系结构比从头开始训练的AlexNet稍差。但是，我们的预训练弥补了这一不足，使从零开始的MAP提升了6％，并且比在Pascal上从头开始训练的AlexNet样式模型的性能高出5％以上。这使我们比使用ImageNet标签进行预训练的R-CNN的性能落后了8％[19]。这是我们在VOC 2007上意识到的最好结果，而不使用数据集外部的标签。我们运行了使用BN的其他基准，但是发现它们的性能比显示的要差。为了理解各种数据集偏差的影响[52]，我们还对Yahoo / Flickr 1亿数据集[51]的随机选择的2M子集进行了预实验，该训练是完全自动收集的。微调后的性能比Imagenet稍差，但与从零开始的模型相比，仍然有相当大的提升。我们还对VGG型[46]（16层）网络进行了初步实验，如表1所示。
  
• 4.4 可视数据挖掘
  视觉数据挖掘或无监督对象发现的目的是使用大型图像集合来发现恰好描绘相同语义对象的图像片段。应用包括数据集可视化，基于内容的检索以及需要将视觉数据与其他非结构化信息（例如GPS坐标[13]）关联的任务。对于自动数据挖掘，我们从第4.1节开始的方法是不够的：尽管对象补丁匹配相似的对象，但纹理也容易匹配相似的纹理。但是，假设我们从同一对象中采样了两个不重叠的面片。两个补丁的最近邻居列表不仅会共享许多图像，而且在这些图像内，最接近邻居的空间配置也大致相同。另一方面，对于纹理区域，邻居的空间配置将是随机的，因为纹理没有全局布局。为了实现这一点，我们首先从图像中采样了四个相邻补丁的集合（我们使用四个来减少偶然发生匹配的空间排列的可能性）。我们发现前四个图像的前100个图像最匹配，而忽略了空间布局。然后，我们使用一种类型的几何验证[7]来过滤掉四个匹配在几何上不一致的图像。由于我们的功能在语义上进行了调整，因此我们可以使用比[7]更弱的几何验证类型。最后，我们通过计算前100个匹配项在几何上验证的次数来对不同的集合进行排名。
  • 实施细节
    为了计算一组四个匹配的色块是否进行几何验证，我们首先计算最合适的平方S到色块中心（通过最小二乘法），同时将S的边约束在S的平均边的2/3到4/3之间。补丁。然后，我们计算色块中心相对于S的平方误差（通过将误差平方和除以S边的平方进行归一化）。如果此归一化平方误差小于1，则对补丁进行几何验证。采样抽样时，请勿使用任何数据增强预处理步骤（例如下采样）。我们使用网络的彩色版本。我们将描述的挖掘算法应用于Pascal VOC 2011，没有图像的预过滤和额外的标签。我们在图7中显示了一些最终的补丁簇。尽管我们发现了一些在[12]中找不到的对象，例如监视器，鸟类，躯干和盘子，但结果在视觉上与我们以前的工作[12]相当。食物。众所周知，鸟和躯干的变形是可变形的，这为我们的算法学习到的不变性提供了进一步的证据。我们相信我们已经涵盖了在[12]中发现的所有物体，除了（1）桁架和（2）不用火车的铁轨（尽管我们确实是用火车发现的）。对于像狗这样的某些物体，我们发现了更多种类，并且将最好的物体排名更高。此外，[12]中显示的许多聚类描述的是光栅（前100个中的14个），而我们都没有（尽管前100个中的两个描述了扩散梯度）。与[12]中一样，我们经常重新发现相同的对象多次具有不同的视点，这导致了图7中等级之间的大部分差距。相对于[12]，我们的算法的主要缺点是1）一些纯度损失，以及2）我们目前无法确定对象蒙版自动（尽管可以想象动态地向每个提议的对象添加更多子补丁）。为了确保我们的算法不会由于ImageNet中的各种偏差而简单地学习以对象为中心的表示方法[52]，我们还将我们的算法应用于巴黎的15,000幅街景图像（以下[13]）。图8中的结果表明，我们的表示捕获了场景布局和建筑元素。在本实验中，为了对群集进行排序，我们使用了[13]中最初提出的重复数据删除程序