摘要：获取像素级标注既昂贵又耗时。因此，仅使用图像标签的弱监督可能对语义分割产生重大影响。最近，基于CNN的方法已经提出使用图像标签来微调预先训练的网络，但是没有额外的信息，这导致定位精度差。然而，这个问题通过利用目标先验来生成前景/背景mask而得以缓解。不幸的是，这些先验要么需要训练像素级标注/边界框，要不然仍然产生不准确的对象边界。在这里，我们提出了一种新的方法来从预先训练的网络本身中提取明显更精确的mask，而不需要外部对象模块。这是使用高层卷积层的激活来完成的，通过密集的CRF来平滑。我们证明了基于这些掩码和弱监督损失的方法优于现有的基于标签的弱监督语义分割技术。此外，我们引入了一种新的廉价弱监督形式，带来了额外的精度提升。

1、简介

       语义场景分割，即给输入图像中的每个像素分配一个类别标签，在计算机视觉领域得到了越来越多的关注，其准确性在过去几年中大大提高。特别是，基于卷积神经网络的全监督方法最近取得了很好的结果。不幸的是，这些方法需要大量带有像素级标注的训练图像，获取这些图像既昂贵又耗时。弱监督技术因此成为解决这一局限的解决方案。这些技术依赖于较弱形式的训练标签，例如从较弱到较强的监督级别、图像标签、关于对象大小的信息、标记点或曲线和标记边界框，在当前的深度学习时代，现有的弱监督方法通常从在目标识别数据集(例如，ImageNet [19])上预先训练的网络开始，并使用根据手边的弱监督定义的分割损失对其进行微调。

       在本文中，我们是利用最弱的监管级别之一，即图像标签，这是一个相当廉价的标注，因此在实践中更常见(例如Flickr [20])。图像标签只是确定图像中存在哪些类，而不指定任何其他信息，如对象的位置。在这种极端情况下，简单的弱监督分割算法通常会产生较差的定位精度。因此，最近的工作提出利用目标先验，这为每个像素提供了是要识别的目标的概率。特别是，这些方法利用了现有的对象算法，如[22–24]，缺点是引入了潜在的外部误差。此外，[22]通常仅产生粗略的前景/背景的预测，而[23，24]依赖于具有像素级标注的附加训练数据。

       相比之下，这里我们引入深度学习方法来进行弱监督语义分割，其中定位信息直接从网络本身中提取。我们的方法依赖于以下想法：我们可以预期，为目标识别任务而训练的网络提取的特征集中在目标本身，因此具有隐藏层，隐藏层单元在前景目标上激发，但不在背景区域上。类似的想法最近也被探索用于其他任务，如目标定位[26]和检测[27]。因此，从在ImageNet上预先训练的全卷积网络开始，我们建议通过直接利用网络中一些隐藏层的单元激活来提取前景/背景mask。

       特别地是，我们关注VGG16预训练网络的第四和第五卷积层[28]，它们提供了比前三层更高级别的信息，例如突出显示完整的对象或对象部分。然后，我们利用一个全连接的条件随机场来平滑这些信息，并生成一个前景/背景mask。我们最终通过弱监督损失将结果掩码合并到我们的网络中。由此产生的mask也可以被认为是一种客观测量的形式。尽管已经提出了几种基于CNN的方法来从注释中学习对象性或显著性特征[29–31]，但据我们所知，我们的方法是首先从分割网络的隐藏层激活中直接提取这些信息，并将所得的mask用作弱监督语义分割的定位线索。最终，如图1所示，我们的模型因此可以被认为是具有内置前景/背景先验的弱监督分割网络。

       我们在两个数据集(Pascal VOC 2012 [32]和Flickr的一个子集(MIRFLICKR-1M) [20])上展示了我们方法的优势。我们的实验表明，我们的方法优于仅使用图像标签的最先进的方法，甚至优于一些利用额外监督的方法，例如目标尺度信息和点监督。此外，我们扩展了我们的框架，纳入了一些额外的，但廉价的监督，采取的形式是要求用户从几个自动生成的候选中选择最佳前景/背景遮罩。我们的实验表明，这种额外的监管只需要用户为每张图像花费大约2-3秒钟的时间，并且比仅使用标签的结果产生了另一个显著的准确性提升。

2、相关工作

       弱监督语义分割受到了广泛关注，因为它减轻了手动标注像素级训练标签的繁琐过程。多年来，已经取得了巨大的进步[9–14，16–18，33]。特别是最近，卷积神经网络被成功地应用于弱监督分割。在本节中，我们将讨论这些基于CNN的方法，这些方法与我们的工作最相关。

       [14]的工作构成了第一个考虑仅在弱监督分割上下文中使用图像级标签微调预训练的CNN的方法，这种方法依赖于简单的多实例学习(MIL)损失来解释训练期间的图像标签。虽然这种损失相对于原始baseline提高了分割精度，但是由于没有使用除图像标签之外的其他先验，所以这种精度仍然相对较低。相比之下，[13]在MIL框架中以自适应前景/背景偏差的形式加入了一个额外的先验。这种偏差显著提高了准确性，这一点[13]表明可以通过引入更强的监督来进一步提高，例如标记边界框。然而，重要的是，这种偏差依赖于数据，对于重新计算新数据集来说并不容易。此外，就目标定位而言，结果仍然不准确。在[17]中，弱监督分割被公式化为约束优化问题，并且引入了对象大小的附加先验建模，这种先验依赖于阈值，阈值决定了某些类别的目标可以占据的图像区域的百分比，这也是与问题相关的。更重要的是，正如在[13]中一样，最终的方法没有利用任何关于目标位置的信息，因此产生较差的定位精度。 

       为了克服这个弱点，一些方法[16，12，21]已经提出利用对象性的概念。特别地，[16]利用后处理步骤，该步骤使用由BING [23]或MCG [24]获得的对象预测来平滑它们的初始分割结果。虽然它改进了定位效果，但作为后处理步骤，该过程无法从初始分段所犯的一些错误中恢复。相比之下，[12，21]直接将目标分割得分[22，24]纳入其损失函数。虽然在训练网络时考虑对象性确实提高了分割精度，但是整个框架依赖于外部对象性模块的成功，实际上，外部对象性模块仅产生粗略的热图，并且不能准确地确定对象的位置和形状(正如我们在补充材料中的结果所证明的)

      请注意，BING和MCG是从具有全像素级标注或边界框的PASCAL训练图像中训练出来的，因此[16，21]本质上使用了比我们的方法更强的监督。这里，我们不依赖于外部对象方法，而是利用我们的想法，即在其隐藏层中，预先训练用于目标识别的网络应该已经学会关注对象本身。这使我们能够直接从网络中构建的信息中开发前景/背景mask，我们根据经验表明，这提供了更准确的目标定位先验。一篇arxiv论文[34]中也提出了一个相关的观点，进一步证明了这一研究趋势的流行性和重要性。

3、我们的方法

       在这一节中，我们介绍我们的弱监督语义分割方法。在简要讨论了我们使用的CNN架构之后，我们介绍了直接从网络本身提取前景/背景mask的方法。然后，我们介绍了我们的弱监督学习算法，利用这一前景/背景信息，最后讨论了我们的新方法，以引入额外的弱监督过程。

3.1 网络结构

        作为最近的弱监督语义分割算法[12–14，16，17]，如图2所示，我们的体系结构基于VGG-16层网络[28]，其权重在ImageNet上用于目标识别任务上进行训练。遵循全卷积方法[1]，所有全连接层被转换为卷积层，最终的分类器被替换为具有N个通道的1 × 1卷积层，其中N代表问题的类别数。作为这种全卷积网络的改进，它的步长为32，灵感来自[3]，对于弱监督语义分割，我们采用步长为8、较小的感受野(128像素)，这在弱监督语义分割的实践中被证明是有效的[13]，在网络的末端，我们添加一个反卷积层，将网络的输出上采样到输入图像的大小。简而言之，该网络以大小为W × H的图像作为输入，并生成N ×W ×H的输出，对每个像素和每个类别的分数进行编码。

3.2 内置前景/背景模型

       我们现在介绍直接从网络中提取前景/背景mask的方法。在第3.3节中，我们展示了如何将该掩码用于弱监督语义分割。

       直觉上，我们期望为目标识别任务训练的网络已经学会了关注对象本身及其部分，而不是背景区域。换句话说，它应该在对象及其对象的一部分上产生高激活值。为了评估这一点，我们研究了在ImageNet上预训练的初始网络的不同隐藏层的激活。为此，我们把每个图像输入到网络中，并在将激活图调整为输入图像大小后，通过计算通道的平均值来可视化每个激活。不出所料，出现了以下观察结果，如图3所示。VGG网络的前两个卷积层提取图像边缘，在网络中更深层次，卷积层提取更高级的特征。特别是，第三个卷积层特征图提取出原型物体形状，第四层提取出完整物体的位置，第五层提取出最具辨识度的物体部分特征[35]。

 

       基于这些观察，我们建议利用第四层和第五层来产生初始前景/背景掩模估计。为此，我们首先通过512个通道上的平均池化操作，将这两个层从三维张量(512×W ×H)转换为2D矩阵(W ×H)。然后，我们通过简单的元素求和来融合两个结果矩阵，并在0和1之间缩放结果值。产生的W × H图可以被认为是每个像素的前景概率。图3显示了该方法在来自PASCAL VOC 2012的一些图像上的结果。虽然结果分数确实准确地指示了前景对象的位置，但是这个初始mask仍然是有噪声的。

       为了克服这一点，我们因此提议在全连接的CRF中利用这些前景概率作为一元势。设为随机变量集，其中为像素的标号，即前景或背景。我们用以下形式的Gibbs能量对所有像素的联合分布进行编码：

       （1）     

其中是像素取标签值的概率，直接从我们初始融合策略的前景概率中获得。在[36]之后，我们使用颜色相似性和空间平滑性的两个高斯核来定义成对项作为一个对比度敏感的Potts模型。这种形式使我们能够利用[36]的基于滤波的平均场策略来有效地执行推理。图3的最后一列示出了一些结果mask。

       请注意，我们的前景/背景mask可以被认为是一种客观测量的形式。虽然对象性以前被用于弱监督语义分割(MCG和BING在[16]中，而类属对象性[22]在[12]中)，但我们的方法有两个好处，首先，我们直接从将用于语义分割的同一网络中提取这些信息，这使得我们不必依赖外部其他方法。第二，与BING和MCG相反，我们既不需要目标边界框，也不需要目标的标签来训练我们的方法。虽然[22]在一组图像上训练后预测目标，如我们在补充材料中的实验所示，但我们的方法比这种技术产生更精确的物体定位。为了进一步证明我们方法的益处，在补充材料中，我们评估了使用[24]和[22]的概率作为同一密集CRF中的一元势获得的mask。

3.3 弱监督学习

       我们现在介绍弱监督语义分割的学习算法。我们首先介绍一个简单的仅基于图像标签的损失，然后展示我们如何将前景/背景mask合并到我们的框架中。

      直观地，给定图像标签，人们希望概率图图像像素被标记为图像中观察到的类别之一，同时防止它们被分配给未观察到的类别，请注意，这假设标签覆盖了图像中描述的所有类。然而，这一假设通常用于弱监督语义分割[12，14，16]。形式上，给定一个输入图像，让是图像中存在的类的集合(包括背景)，是不存在的类的集合。此外，让我们用来表示我们的网络用参数θ为位置(I，j)处的像素和类别k产生的分数，0 ≤ k < N，注意，一般来说，我们忽略变量对网络参数的显式依赖性，最后，设为softmax层后得到k类的概率，即：

                        （2） 

       编码上述想法然后可以简单地通过设计一个形式的损失来实现：

    （3）

其中代表图像中每个类别的候选分数。简而言之，公式3中的第一项表达了当前类别应该在图像中的情况，而第二项损失了对于不在该图像所包含类别具有高概率的像素。实际上，我们利用Log-Sum-Exp (LSE)近似(如先前在[16]中使用的)，而不是计算图像中所有像素上k类的最大概率(如先前在[14，12]中使用的)，可以写成：

       （4）

其中表示图像中的像素总数，是允许该函数在最大值和平均值之间的范围内变化的参数。实际上，根据[16]，我们将设置为5。

       公式3的损失不依赖任何前景和背景的概念。因此，最小化它通常会产生较差的目标定位精度。为了克服这个问题，我们建议使用第3.2节中介绍的内置前景/背景mask。设为像素处的mask值，即如果像素属于前景，则，否则为0。然后，我们可以将我们的损失重新记为：

     （5）

这里的：

      （6）

       （7）

其中和分别表示前景和背景像素的数量，并且计算当前k类在前景mask中所有像素上的近似最大概率。类似地，表示背景类在前景mask之外的所有像素上的近似最大概率。总之，公式5的损失支持当前类别出现在前景mask中，而被预测为背景的像素应该被分配给背景类别，并且没有像素不分配标签。

      为了训练我们网络的参数，我们遵循标准的反向传播策略来搜索使等式10中的损失最小的参数θ。特别地，使用具有动量的随机梯度下降(SGD)来微调网络，以通过负梯度和先前权重更新的线性组合来更新权重。在推断时，给定测试图像，网络执行密集预测。我们可选地应用全连接的CRF来使用默认参数[3]平滑分割。

 注意：虽然我们的损失函数表现良好，但是这种损失函数的替代函数可以表示为：

       （8）

其中，代表通过对每个像素的观测类别使用最小二乘估计得到的最大值的近似值：

       (9)

这样的公式也可以扩展到我们的mask中：

   （10）

 其中表示背景类的概率并且由：

     （11）

计算观察到的前景类的近似最大概率。

       我们发现，虽然这两种方法都是从损失函数3和8中来的，但是3和8彼此不同，使用等式5和10将我们的mask合并到它们中，大大提高了分割质量。然而，从经验来看，我们发现第二个公式的效果比等式5中的稍差。这将在实验中进一步讨论。

 4、实验

        在本节中，我们首先描述了用于实验的数据集，并给出了一些关于学习和推理过程的细节。然后，我们将我们的方法与使用与我们相同监督级别的最先进的方法进行比较。我们在补充材料中提供对前景/背景遮罩的评估。

4.1 数据集

       在我们的实验中，我们首先使用了标准的Pascal VOC 2012数据集[32]，该数据集在大多数弱监督语义分割论文中用作基准[12–14，16，17]。与[12，17，13]中使用的数据集类似，该数据集包含N = 21个类，10，582个训练图像(VOC 2012训练集和[38]注释的附加数据)，1，449个验证图像和1，456个测试图像。通过简单地列出在每个图像中观察到的类别，从像素级标注中获得图像标签。正如在[12，13，16，17]中，我们报告了验证和测试集的结果。

       为了进一步证明我们的方法的通用性，我们将我们的方法应用于真正只包含图像标签的数据集。为此，我们从MIRFLICKR-1M数据集的一个子集创建了一个新的训练数据集[20]。为了便于比较，这个子集是使用包含与Pascal VOC 2012相同类别的图像构建的。总共包含7238张图片，这些图片仅用于训练目的。这个新的基于Flickr的数据集不提供任何真实像素级的注释，因此Pascal VOC验证集被用作测试数据。该训练数据将在论文被接受后公开。

       对于这两个数据集，我们报告了21个类的mIOU。

4.2 实施细节

       我们的网络架构详见第3.1节。这个网络的参数是通过使用随机梯度下降找到的，前40k次迭代的固定学习率为，后20k次迭代为，动量为0.9，权重衰减为0.0005，小批量为1。类似于最近的弱监督分割方法[16，17，14，12，13]，网络权重是用在ILSVRC 2012数据集上为1000路分类任务预训练的网络权重初始化的[19]。因此，对于最后一个卷积层，我们使用了与Pascal VOC和ILSVRC共享的20个类对应的权重。对于背景类，我们使用标准偏差为0.1的零均值高斯噪声初始化权重。在推断时，仅给定测试图像，网络生成密集预测作为完整的语义分割图。我们使用C++和Python (Caffe框架[39])来实现。与其他方法[17，13]一样，我们进一步可选地应用密集的CRF来细化该初始分割。为此，我们使用了与这些其他方法相同的CRF参数值，即与[3]中的相同。

4.3 分割结果

       我们现在将我们的方法与最先进的基线进行比较。我们首先给出仅使用图像标签获得的结果，然后是那些具有额外弱监督的结果。为了完整起见，除了最先进的基线之外，我们还报告了我们的不使用前景/背景mask，即使用等式3作为训练损失的方法的结果。我们还提供了通过使用等式8和10中引入的损失训练模型而获得的分割结果。在下文中，我们将把我们的基线称为Ours(baseline)，把我们的仅带有标签的方法称为Ours（tags)，把我们的带有额外弱监管的方法称为Ours(CheckMask)。我们在方法名称后面加上了+ CRF，以进一步完善我们的结果。

带有图像标签的Pascal VOC。在表1中，我们将我们的方法与我们的无掩模baseline和在训练期间仅给定图像标签的最先进的方法的语义分割任务上进行了比较。请注意，无论我们是否使用CRF平滑，我们的方法都大大优于所有baseline。重要的是，我们优于基于对象先验的方法[12，16]，这清楚地表明了使用我们的内置前景/背景遮罩而不是外部对象算法的好处。我们的mask的重要性进一步得到证明，事实上，我们比我们的无mask线高出13.8 mIOU点。请注意，性能最佳的基线(MIL w/ILP) [16]使用来自ILSVRC2013数据集的大量附加图像(约700K)来提高基本MIL方法的精度。请注意，即使不使用任何此类额外数据，我们的性能仍优于该基线。

Pascal VOC与额外的弱监督。然后，我们在使用额外监督的Pascal VOC数据集验证我们的方法，虽然没有其他方法使用过这种弱监督，但我们报告了使用类似成本的额外弱监督来计算的方法的结果。具体而言，这些包括[12]的点监督、[13]的随机剪裁、[17]的大小信息和[16，21]的MCG片段。表2提供了该比较的结果。请注意，我们的checkmask过程比仅使用标记的方法提高了4.2(应用通用CRF时提高了4.9)。更重要的是，我们的方法大大优于基线。注意，其他方法已经提出依赖于标记的边界框，这要求用户为图像中的每个单独的前景对象提供边界框，并将标签与每个这样的边界框相关联。显然这一过程显然比我们的成本更高，但我们获得了与这些基线相似的精度(在使用标记边界框时，[13]的精度为52.5%，当使用标注的边界框和EM时[13]的精度为54.1%，而我们的方法为51.49%)。我们认为，这进一步证明了我们方法的好处。我们还报告了Pascal VOC 2012测试集的结果，并将我们的方法与其他基线进行了比较(见表3)。

 带有图像标签和额外弱监管的Flickr (MIRFLICKR-1M)。现在，我们通过使用包含MIRFLICKR-1M图像子集的新数据集对其进行训练来评估我们的方法[20]。由于在这个数据集上没有其他结果的报道，我们也计算了CCNN [17]的结果，其代码是公开可用的，并且在之前的实验中显示出了良好的准确性。在表4中，我们将我们的方法的结果与仅使用标签训练时的基线进行了比较，并且如前所述，在Pascal VOC 2012验证数据集上进行了测试，因为Flickr中没有groundtruth像素级注释。请注意，我们的方法明显优于我们的无mask基线和CCNN大幅度。值得一提的是，该数据集包含椅子、餐桌和沙发三个稀有类，分别占整个数据集的1.1%、0.5%和1.3%。尽管这些类在构建该数据集时的贡献可以忽略不计，但与CCNN相比，我们的方法在细分这些类方面表现良好(在这些类中分别为17.0%对10.7%、31.2%对0%和16.8%对0%)。

 

       然后，我们进一步使用我们的CheckMask程序来评估通过一些廉价的额外弱监管可以获得多少收益。请注意，在这里，我们无法报告附加监督的CCNN结果，因为实际上，我们无法访问每个图像的对象大小信息。我们在表4中的结果证明了我们的CheckMask过程相对于我们的仅标记方法的优势。请注意，为所有7238幅训练图像选择最佳mask大约需要5个小时，相当于每幅图像2.5秒。这表明我们额外的弱监管水平仍然非常廉价。

5 总结

        我们引入了一种深度学习方法来进行弱监督语义分割，该方法利用了直接从我们的网络中提取的前景/背景mask，该网络是为对目标别任务而预先训练的。我们的实验表明，当仅在图像标签上训练时，我们的方法优于最先进的方法。此外，我们引入了一个新的弱监督级别，包括从一组候选中选择一个掩码，这个过程可以非常容易地实现，每张图像只需要大约2-3秒，并进一步显著提高了精度。未来，我们打算研究联合训练前景/背景掩模提取过程和弱监督分割网络是否能进一步提高我们的结果。