摘要

本文提出了一种叫做CropNet的实时缩略图的生成方法。

• 比较：与以前基于深度学习的方法，如Fast-AT[6]，它可以利用对象检测框架中引入的检测器并生成数千个建议，我们的检测器简单简洁，从而确保最终的裁剪窗口由其中心和宽度和输入长宽比计算。
• 基本思路：CropNet通过学习特定的filters来估计中心位置，并且使用filters和单神经元的级联结构来进行宽度推断。CropNet联合优化中心位置和宽度来获取最优结果
• 数据集的使用：收集了超过29,000个缩略图注释的数据集来训练CropNet，并在现有数据集之间进行交叉验证。
• 实验结果：CropNet的性能优于现有技术。实验结果是在每张图像17ms的测试时间速度下实现的，比目前最快的方法快6倍。
• CCS概念：计算方法->计算摄影；目标检测；场景理解

1 简介

Thumbnail概念：在手机等设备的帮助下，人们可以轻松地拍大量照片。为了能够有效地浏览照片收藏，应用程序或网页将显示每张照片的缩小版，这被称为缩略图。

在大多数情况下，具有相同高宽比的缩略图可以在显示器中进行镶嵌，以便在设备屏幕的有限空间中同时显示更多的照片。计算时间也是缩略图生成的一个关键因素，因为在实际应用中必须同时生成大量照片的缩略图。

比如我们在一些社交平台：朋友圈、微博等发布一些照片时，带有主要内容的缩略图显然会让我们的编辑体验。

裁剪步骤和缩放步骤的引入

为了实现缩略图的高效浏览或美学优化目的，缩略图可以通过引入裁剪步骤和缩放步骤来生成缩略图。如图1所示，在裁剪步骤中应保存原图的重要内容，以确保缩略图能够有效地描绘原始照片。以前的研究使用了salience map或hand-crafted features来指导缩略图的裁剪和重新缩放。例如，Huang等人。[13]提出了一种基于两个基本考虑因素的缩略图方法：视觉代表性和前景可识别性。该方法训练支持向量机模型来对缩略图进行评分。

缩略图生成与目标检测的异同

• 缩略图的生成与目标检测略有相似，诸如Fast-AT[6]等实现都是基于目标检测框架的。在缩略图生成和目标检测之间存在着一些差异。值得注意的是，缩略图生成将只选择一个裁剪窗口，而目标检测将输出不确定数量的裁剪窗口，该窗口可能为零或超过一个。出于这个原因，目标检测将更多地关注检测到的那些IoU 大于给定阈值（通常为 0.5）的目标的数量。 采用平均精度来评估结果。 而缩略图生成会考虑最终结果的一些美学元素，它的评估是几个不同指标的组合，包括 IoU。
• Fast-AT[6]等实现利用目标检测框架中引入的检测器，并生成大量的区域建议，因为探测器被设计用来检测多个目标。然而，对于缩略图生成任务，多个目标的检测和排名在计算是复杂的。

CropNet的提出

我们提出了一个称为CropNet的自动缩略图生成框架，它直接地解决了这个问题。与目标检测框架不同，CropNet只检测一个目标作为裁剪窗口。CropNet由具有共享的特征图的两个独立的网络分支组成，分别预测裁剪窗口的中心和宽度。如Esmaeili等人。[6]提出，目标长宽比应该是输入之一，这样最终的裁剪窗口就可以通过预测的中心和宽度来唯一地计算。

数据集的选取以及实验结果

我们在不同的数据集中测试了CropNet，包括Esmaeili等人发布的现有数据集。[6]和一个新收集的数据集，其中包含29,295个缩略图注释。结果表明，CropNet的性能优于最先进的方法，并在GPU(NVIDIA Titan Xp)上实时生成缩略图，速度约为每秒58张缩略图(每张图像17ms)，速度是目前[6]最快的方法的六倍。

2 相关工作

缩略图是原始图像的缩小版本。 因此，缩略图创建算法可以消除相对不重要的像素，直到剩余像素由目标大小的缩略图组成。

现有方法的分析

像[2]这样的图像重定位方法也可以做同样的事情。该方法分析了图像中像素的重要性，并消除了具有低重要值的像素，以减小图像的大小，使其能够满足目标。图像重定位方法可以在缩小后保留原始图像中的重要像素，但它们很大程度上依赖于重要值的定义，通常会引入伪影和图像失真，从而显著降低结果的吸引力。相比之下，裁剪后缩放可以保证缩小的图像来自原始图像上的连续区域。

裁剪后缩放方法的主要挑战是确定裁剪窗口。 基于显着性的方法 [1, 17, 20-22] 在解决裁剪问题方面表现出效率。 [20] 将裁剪窗口优化为小而显着，限制了人脸，而 [17] 提出了一种基于图像之间显着性相似性的裁剪方法。 评估其他特征以共同确定具有显着性的裁剪窗口。 SIFT 等特征被考虑用于有效的显着性分析，以便方法 [1] 计算更好地裁剪窗口。此外，[21] 提出了尺度和目标感知显著性（SOAT），它考虑了重新缩放，显著性可以指导缩略图的裁剪阶段。 [19]提出不同语义分割之间的空间关系可以恰当地表达图像的组成，从而保证具有相似语义组成的图像也可以具有相似的裁剪区域。 Twitter 的解决方案 [22] 专注于凝视预测以获得更好的显著性。

基于学习的裁剪方法[7,13,15,23]通常对提案进行采样，并计算分数或标签，以对最佳裁剪窗口进行排序。分数或标签通过机器学习方法计算，以人工制作的特征作为输入，包括显著性、空间位置[15]、构图、边缘、内容[7]、颜色、纹理、前景和形状[23]。[13]通过平衡相互限制的两个因素——视觉代表性和前景可识别性——改进了基于裁剪的缩略图，该方法召回了缩略图的目标大小（在其实现中为160×120），以便对缩略图结果进行镶嵌。这些方法所产生的裁剪结果令人满意，但没有很好地考虑到时间的复杂性。例如，[13] 报告使用单个线程为图像创建缩略图需要大约 60 秒。 [4] 大大减少了计算时间，尽管其提出的基于显著性的方法具有此类方法的共同弱点。 至少需要 100 ms 才能完成计算并确保该方法可以比以前的工作更好地解决具有多个分离的重要区域的图像。

深度神经网络在许多高级视觉任务中都表现出了显著的改进，包括图像分类、目标检测和语义分割。[3]提出了一种基于深度卷积神经网络(CNN)的方法，可以从一系列图像中选择最佳的图像。结果显示，CNN比手工制作的特征要好了近10%(73%vs.61%)。该方法还可以应用于具有图像类比的自动裁剪任务，并优于Photoshop Element中的自动裁剪功能。

R-CNN及其改进的[5,9,10,18]利用深度神经网络实现了目标检测任务。他们使用cnn计算原始图像的高水平表达特征，并使用分类器检测来自大量区域建议中的目标。这些体系结构不仅显著提高了检测精度，而且还提供了实时推理[5,18]。基于R-FCN[5]的Fast-AT[6]是第一个为缩略图生成而设计的深度学习系统。该系统考虑从 32×32 像素到 200×200 像素的不同缩略图大小，并以每张图像约 105 毫秒的速度生成缩略图。

[5,6,9,10,18]中的方法采用了两步策略：生成边界框建议，然后对它们进行分类。单镜头多盒检测器(SSD)[16]比这些方法更简单。该方法将边界框的输出空间离散为一组具有不同的长宽比和比例的默认框，然后为每个默认框生成分数。SSD可以以每张图像约22ms的速度检测8732个盒子中的目标。

3 方法

CropNet是一个端到端缩略图生成框架，它以一个图像和一个预期的缩略图大小作为输入。CropNet旨在找到最佳的裁剪窗口，然后重新缩放到目标缩略图的大小。

原始图像在输入到网络之前用比例r重新缩放，其中
r = min(300/min(W0,H0), 500/max(W0,H0)), (1)
W0和h0分别为原始图像的宽度和高度。一个裁剪窗口可以通过其中心和宽度来推断，并伴随着一个长宽比。因此，我们在CropNet中分离的网络分支中优化了这两个指标。一个边界框可以通过分支的输出来推断出来。网络对预测结果进行边界框回归，并获得一个裁剪窗口来生成输出缩略图。

3.1 网络结构

如图2所示，给定纵横比的CropNet由四个部分组成。底层构成了特征提取部分，它可以输出以图像为输入的特征map，类似于大多数基于深度学习的工作。然后将网络分为两个分支：中心分支用于预测裁剪窗口的中心，大小分支用于预测大小（实际上，它预测裁剪窗口的宽度，高度由宽度和输入长宽比计算）。通过两个分支的输出，推断一个裁剪窗口。然后，网络裁剪输入图像，并实现边界框回归[8]，以提高性能。

3.2 中心位置预测

受Mask R-CNN[11]的启发，中心分支将裁剪窗口中心的位置建模为一个 one-hot mask。一个具有两个filter的卷积层被添加到分支的顶部，训练目标是一个one-hot mask，其中只有包含gt裁剪窗口中心的像素被标记为正。中心分支的损失是 softmax 输出上的交叉熵损失，它可以预测目标单点。

3.3 裁剪窗口大小估计

目标纵横比是输入之一。 因此，我们只需要预测裁剪窗口的宽度。 我们将此宽度建模为宽度比 wr = w/W ，其中 w 是裁剪窗口的宽度，W 是相应输入图像的宽度。 使用裁剪窗口的目标纵横比 ar 和宽度 w，高度为 h = w/ar。

CropNet接受图像的任意长宽比，因此特征映射的大小是不固定的。ROI池层[9]添加到特征映射的顶部，以生成固定大小的新特征映射。在大小分支上，新的特征图是具有单个神经元的一层的输入。考虑到w∈(0,1]，在单个神经元层后添加一个s型层，以保证这种情况。大小分支的损失是预测值与目标宽度比之间的欧氏距离。

输入图像具有不同的长宽比，但由ROI池化层输出的特征映射的长宽比是固定的。如果我们只使用一个ROI池化层，那么特征图中每个像素的接受域的长宽比主要由输入图像的长宽比决定。如果我们想将回归变量与不同纵横比的输入图像进行拟合，这种方法会对输入图像的数量和分布产生很高的需求。我们引入了一个级联结构，以确保接受域将有更好的多样性，并且CropNet将对具有不同长宽比的输入图像敏感。图3显示了级联结构。我们连接ROI池化层的输出来获得一个向量，它是该层与单个神经元的输入。通过ROI池化层的连接，回归器可以适应不同接受域的这些特征，并且训练数据需求的数量将会减少。

3.4 边界框回归

边界框回归在两个分支的顶部进行。 此步骤类似于 [9] 的实现，但稍作修改。

损失是[9]引入的平滑L1损失，但回归的目标是一个三维向量(drx、dry、sr)，其中drx和dry分别是预测边界框与x轴和y轴的gt之间的偏移比，sr是缩放比。它们被定义为

其中，px、py、pw分别为预测边界框的x坐标、y坐标和宽度，gx、gy、gw为对应的gt，W和H分别为对应的输入图像的宽度和高度。

3.5 Aspect-ratio-specific bank

4 实验

4.1 数据集

Fast-AT[6]发布了一个缩略图注释的数据集，并将它们分为训练集和测试集。该数据集被记为FATData，但是它包含了一些噪声。图5显示了一些明显错误的裁剪窗口注释，它们相对于原始图像太小，不能很好地描绘原始图像。

之前的工作[13]表明，令人满意的缩略图应该在两个因素之间达到平衡：视觉代表性和前景可识别性。裁剪会降低视觉代表性，因此，一个小的裁剪窗口会导致视觉代表性较差。为了验证这一结论，我们通过亚马逊机械土耳其公司(MTurk)构建了一个新的数据集，其中包含4,206张图像上的29,295张缩略图注释。图像从 MIRFLICKR-25000[14]中随机选择。新的数据集表示为MIR-Thumb。与[6]类似，MIR-Thumb被分成3365张图像和23435条注释（占总注释的80%）用于训练，841张图像和5860个注释（占总注释的20%）用于测试。

[6]表示缩略图的大小不需要考虑，但长宽比很重要。在收集MIR-Thumb时，MTurk工作人员在原始图像上画一个固定长宽比的边界框，用户界面根据标注的边界框显示四种不同大小的缩略图。预览尺寸的大边的长度分别为256、128、64和32。每幅图像都用7个高宽比裁剪（即21：9、16：9、4：3、1：1、3：4：9：16和9：21），这在现实世界中很常用。每个长宽比都由不同的工人标记了三次。对于一个特定的原始图像和缩略图的长宽比，三个注释被平均，其中147个被删除，因为注释的偏差很大。其余的注释构成了MIR-Thumb。

考虑到FAT数据中的噪声，我们应用了较小的修改。小的裁剪窗口可能是错误的注释。因此，我们删除了面积比小于0.25×Marea的注释,其中W和H分别是以像素为单位的原始图像的宽度和高度，ar表示裁剪窗口的长宽比。 我们将其余数据集表示为 FAT-Clean，其中包含 61621 个（与 63043 相比）用于训练的 24113（与 24154 个）图像上的缩略图注释和 3880 个（与 3910 个图像相比）上的 6885 个（与 7005 个相比）注释 测试。

4.2 评估指标

如之前的工作[6,13]所采用的，以下五个指标可以用于比较方法：

• Offset：偏移是gt的中心和预测的边界框之间的距离。一个大的偏移量将导致gt和预测裁剪窗口生成的缩略图不同的视觉代表性。因此，最优的方法应该生成具有较小偏移量的缩略图。
• Rescaling factor：该因子计算为max(sr/sg，sg/sr)，其中sr和sg分别表示缩略图结果的重缩放因子和gt。最佳的方法应该生成重缩放因子接近于1的缩略图。
• Hit ratio（记为hr）：这个比率被计算为
  
  这个指标测量了缩略图结果捕获了多少gt面积。由最优方法生成的缩略图应该有一个很大的命中率。

-Background ratio(记为br)：这个比率表示缩略图结果中包含了gt以外的面积，并计算为
好的缩略图的背景比例应该保持较小。

• IoU：IoU在缩略图结果和gt之间。一个小的IoU表示缩略图的结果与gt有较大的差异。因此，最优方法应该生成具有较大IoU的缩略图。

4.3 Baseline

我们使用[6]提供的结果，FAT数据包含3910张图像，7005个注释作为基线。研究结果包括通过不同的缩略图生成方法获得的结果，包括SOAT[21]、显著性阈值为0.7的高效裁剪[4]和Fast-AT[6]。

我们还引入了经过少量修改的SSD[16]作为基线。为了进行公平的比较，我们将数据集fat-data按注释的长宽比划分为N个部分，然后用每个子集训练和测试单个网络，即我们用单个SSD网络训练N个特定方面比率的库。

考虑到Fast-at结果是通过五个长宽比划分得到的，我们在CropNet的实现中设置了N=7，因为我们又引入了两个高宽比：0.5和2。长宽比错配度量由[6]提出，它度量预测(arp)和标记(arg)裁剪窗口的长宽比之差，并表述为

CropNet的错配度量一直为0，因为CropNet只需要预测裁剪窗口的中心和宽度。高度是由宽度和输入的长宽比计算出来的。因此，CropNet以给定的长宽比计算一个裁剪窗口，并执行统一的缩放以获得缩略图结果。

4.4 边界框回归

边界框回归通常用于提高检测任务中的定位性能。对于缩略图任务，该方法如下：

通过中心分支和大小分支的输出，我们可以得到一个裁剪窗口的proposal。我们预计该proposal将有一个巨大的，但在大多数情况下它永远不可能是最好的裁剪窗口，因为在中心分支使用的one-hot mask比原始图像要小得多。即使预测的中心点与预期的完全一致，偏差仍然存在。因此，我们使用了一个边界框回归阶段来提高性能。

表2显示了性能的改进。

4.5 级联结构

如第3.3节所述，原始图像具有不同的长宽比。因此，引入了一种级联结构来提高具有不同长宽比输入图像的CropNet的性能。

我们发现，在级联结构中具有不同池大小的过量ROI池层会导致显著的衰减，因为太多的特性会引入太多的网络参数，从而增加过拟合的风险。表3给出了级联结构中不同ROI池层的CropNet的性能。

4.6 预测中心点

CropNet在one-hot mask的帮助下预测裁剪窗口的中心点。考虑到裁剪窗口的宽度比可以被建模为全连接层后的神经元的输出，中心点也可以进行类似的建模。

在one-hot mask方法中，边界框回归在偏移度量的性能中起着重要的作用，也可能对全连接(FC)方法产生显著的改进。

表4显示了CropNet在使用one-hot mask法或FC方法预测中心点方面的性能。基于mask的方法比FC方法要好得多。

理论上，mask是由特征映射计算的，特征映射可以为每个像素的局部特征建模。mask的机制能够准确地预测单个像素，从而导致相对较小的偏移度量。与此相反，FC层将通过FCs将这些特征混合在一起，隐藏层的输出可以被建模为整个图像的全局特征。表4中的中心点预测结果显示，局部特征的性能优于全局特征。这一发现也解释了通过在mask中引入边界框回归来实现的offset指标的改进比FC更显著，因为回归引入了mask的全局特征。

5 评估

表1显示了CropNet在fat数据测试集中与最新方法相比的进展。CropNet可以在GPU(NVIDIA Titan Xp)上实时生成缩略图，缩略图速度为每秒58张缩略图，比FastAT快6倍。该速度是通过平均生成FAT-Clean测试集的所有缩略图（3880张图像的6885张缩略图）的计算时间来计算的。未计算模型加载的时间和输入输出。

CropNet比Fast-at快得多，因为前者只为输入图像生成一个proposal。相比之下，Fast-AT以对象检测框架的方式生成了大量的proposal。在某些极端条件下，例如当使用纯色图像作为输入时，为对象检测设计的网络不能生成任何proposal，但CropNet仍然可以输出一个令人满意的proposal。

5.1 结果

我们在第4.1节中介绍了三个数据集：FAT-Data、FAT-Clean和MIR-Thumb。表5显示了最近开发的开源方法和CropNet在测试集中的性能。CropNet可以生成与相应注释非常匹配的缩略图，也适用于多种输入图像。图6显示了由基线方法和CropNet生成的一些缩略图结果。由CropNet创建的缩略图很好地描绘了原始照片，无论缩略图的主题或目标大小如何。

5.2 交叉数据集验证

为了对我们的方法进行定量评估，我们使用数据集FAT-Clean和MIR-Thumb进行了交叉数据集验证实验。

表 6 展示了 CropNet 在不同训练和测试集下的性能。 FAT-Clean 和 MIR-Thumb 数据集分别由训练集和测试集组成。 当一个数据集被选为训练集时，我们用它的训练集进行训练，反之亦然。 我们利用第 4.2 节中描述的评估指标来衡量性能。 这些评价虽然有一定的衰减，但整体衰减很小，由此可见CropNet的泛化能力。

5.3 用户研究

图7显示了投票结果。第一个数据集包含从MIR-Thumb中随机选择的600张图像。在这一数据集中，CropNet获得了41.84%的选票，348.8张缩略图（58.14%）被选为四种方法中最好的。第二个数据集包含[6]补充中提供的80张图像，是FAT-Data的一部分；CropNet获得了36.74%的选票，42.7张缩略图（53.55%）被选为5种方法中最好的。最后一个数据集由Huang等人提供。[13]，baseline结果由Esmaeili等人提供。[6]。CropNet获得了28.41%的选票，88.7张缩略图（44.33%）被选为该数据集中6种方法中最好的。注意，某些方法（例如，n种方法）可以同样获得对某些图像的最高投票（第一数据集中的91个图像；第二数据集中的12个图像；最后一个数据集中的61个图像）。在这种情况下，这些方法将共享最佳的选票，计算为1/n张图像。结果显示，在所有用户研究中，获得了CropNet最多的选票，大多数缩略图被评为最佳。

5.4 失败案例

我们使用MIR-Thumb测试集中的预测，物值低于0.1，以进行进一步的调查。图8显示了四种典型的情况。在案例(a)中，直升机和人员都在前景中。gt只关注直升机，预测考虑了前景和背景的平衡。在案例(b)中，两个裁剪窗口均可接受。在案例©中，床上的猫是一个重要的前景元素，gt考虑了这种情况。然而，猫在图像中的比例太小，但预测的裁剪窗口也是可以接受的。在案例(d)中，显示两名士兵，但裁剪窗口只能包含一名士兵。gt和预测分别选择了其中一名士兵。这些案例表明，一些预测与缩略图有效地描绘原始照片的预期是一致的。我们对所提出的案例进行了另一个用户研究。图8中CropNet的结果获得了80%、40%、30%和50%的选票，共有10名参与者。

6 结论

本文提出了一种基于深度神经网络的新型缩略图生成框架CropNet。该框架由两个独立的网络分支组成，并优化了由这些分支的输出计算出的裁剪窗口。

该框架是专门为缩略图的生成而设计的。它不会生成大量的区域建议，例如使用多目标的目标检测框架，而是直接生成单个裁剪窗口。评价指标和用户研究结果表明，CropNet能够令人满意、有效地完成缩略图任务。对于正常大小的输入图像，CropNet可以以每张图像17ms的速度实时生成缩略图。

在这种情况下，即使移动设备的计算能力有限，CropNet也可以在实际应用中发挥关键作用。