论文：CentripetalNet: Pursuing High-quality Keypoint Pairs for Object Detection
时间及出处：CVPR 2020

1. motivation

CornerNet根据每个keypoint的associative embedding进行关键点分组（keypoint grouping），该分组方法存在2个不足：

• 训练过程使用push loss和pull loss来监督embedding的生成：push loss令来自不同物体的中心点对应的embedding尽量远离，其中，中心点的embedding是同一物体的两个角点embedding的平均；pull loss令同一物体的两个角点的embedding尽可能接近。
  注：记object $k$的左上角点对应的embedding为$e_{t_k}$，左上角点对应的embedding为$e_{b_k}$，并令
  $$e_k=\frac{1}{2}\left(e_{t_k}+e_{b_k}\right)$$

• 只是基于物体的外观来产生embedding的做法是不鲁棒的。当出现多个具有相同外观的物体（如来自同类别的物体）时，这些物体的角点所对应的embedding是非常像的，这使得网络训练难度比较大，并且，基于相似外观产生的相似embedding会导致出现不正确的关键点匹配对。
  

• CenterNet注意到CornerNet只靠embedding来唯一确定分组结果的做法具有较大随意性和较低鲁棒性，导致出现了较多的false positive，为此额外引入中心区域，通过查看匹配对所构成的边界框的中心区域是否包含同类别的中心点，消除了大量的错误匹配对。像图(b)所示的同类物体构成的密集场景，来自不同物体的两个角点具有相似的embedding，其中心区域恰好为同类别物体的中心，这就导致了false positive。

• 本论文认为，导致CornerNet和CenterNet出现false positive的根本原因是：使用仅基于外观信息的embedding来实现关键点分组的做法存在较大的局限性，一是embedding较难学习，其对异常点较为敏感，二是基于embedding相似度的分组方法的鲁棒性不强。为此，本文提出新的关键点分组方法，该方法同时利用了物体的外观和关键点的位置信息。

• CentripetalNet以CenterNet为baseline，属于keypoint-based detector，创新点是提出新的关键点分组方法。

2. CentripetalNet

2.1 overview

CentripetalNet主要包含4个模块，各个模块的原理和作用如下：

• Corner Prediction：CornerNet中使用corner pooling产生heatmap和offset map以实现角点检测；
• Cross-star Deformable Convolution：完成feature adaption，提供更有利于产生centripetal shift的特征
• Centripetal Shift Module：根据所检测到的角点和adapted features，为每个角点生成一个二维的centripetal shift，根据左上角点的centripetal shift和右下角点的centripetal shift可以产生2个对应的中心点，根据这两个中心点的距离来判断这两个角点是否可以成功匹配
• Instance Mask Head：论文说引入实例分割并进行多任务学习可以提高目标检测的性能。

2.2 Centripetal Shift Module

2.2.1 Centripetal Shift

• $b^i=(tl{x}^i,tl{y}^i,br{x}^i,br{y}^i)$：输入图像中第$i$个边界框的左上角坐标和右下角坐标
• $(ct{x}^i,ct{y}^i)=\left(\frac{tl{x}^i+br{x}^i}{2},\frac{tl{y}^i+br{y}^i}{2}\right)$：输入图像中第$i$个边界框中心点坐标
• 向心偏移centripetal shift表示角点坐标到中心点坐标的偏移量，即：
  
  其中，$s$是总下采样率，表示了向心偏移是在特征图层面上的定义，而$log()$函数的作用是减小向心偏移的取值，使得网络更容易学习。
• 我们可以方便获取向心偏移的训练标签，从而进行有监督学习。向心偏移对应的损失函数为
  $$L_{cs}=\frac{1}{N}\sum _{i=1}^N\left[Smooth{L}_1\left(c{s}_{tl}^i,{\widehat{cs}}_{tl}^i\right)+Smooth{L}_1\left(c{s}_{br}^i,{\widehat{cs}}_{br}^i\right)\right]$$其中，$N$是输入图像中的GT框总数。

2.2.2 Corner Matching

corner matching是基于一个事实而提出的：物体的左上角点加上其对应的向心偏移后所得出的预测中心点应该与物体GT框中心点重合，物体的右上角点也是如此。因此，来自同一物体的左下角点对应的预测中心与右下角点对应的预测中心应该尽可能接近，于是，corner matching的步骤如下：

1. 利用网络输出的corner heatmap和offset map，计算检测出的角点在原图中的坐标
2. 计算每个角点对应的向心偏移在原图上的偏移量$(s\ast exp(c{s}_{tl}),s\ast exp(c{s}_{br}))$
3. 根据角点坐标和向心偏移量计算其预测中心点坐标，记左上角对应的预测中心点坐标为$(t{l}_{ctx},t{l}_{cty})$（浅蓝色点），右下角对应的预测中心点坐标为$(b{r}_{ctx},b{r}_{cty})$（绿点）
4. 对于每个类别的左上角点和右下角点，搜索出能组成边界框的准匹配对，计算准匹配对所组成的边界框的中心点（红点），并定义该边界框的中心区域$R_{central}$：
   
   
   其中，$\mu \in (0,1]$，其控制了中心区域的大小，表示中心区域的宽和高分别是边界框的宽和高的$\mu$倍。
5. 如果准匹配对对应的预测中心均落入其边界框中心区域，即满足
   $$(t{l}_{ctx},t{l}_{cty})\in R_{central}\wedge (b{r}_{ctx},b{r}_{cty})\in R_{central}$$则根据两个预测中心的距离来衡量作为其score的权重因子$w$
   $$w=exp\left(-\frac{|t{l}_{ctx}-b{r}_{ctx}|\ast |t{l}_{cty}-b{r}_{cty}|}{(cbrx-ctlx)(cbrt-ctly)}\right)$$如果准匹配对对应的预测中心有一个未落入其边界框中心区域，则令$w=0$。
6. 对于准匹配对，其边界框score为左上角点和右下角点的平均得分，并乘以其对应的权重$w$。两个角点对应的预测中心越近，则权重越大，最终得分也越大。权重$w\in [0,1]$，计算$w$时除以$(cbrx-ctlx)(cbrt-ctly)$的目的是消除边界框大小的影响。

2.3 Cross-star Deformable Convolution

2.3.1 motivation

• CornerNet经过corner pooling后会产生heatmaps和offset map，为了产生于heatmap同尺寸但不同通道数的centripetal shift map（通道数为2，对应二维偏移量），可以像heatmap一样，在corner pooling得到的feature map上添加卷积层来生成。
  
• 但作者可视化了corner pooling 所得到的feature map，发现，由于corner pooling的存在，特征图上会存在一些cross-star，即图(a)所示的交叉点。如果直接采取上图所示的$3\times 3$的卷积核，无法利用这些交叉点和交叉线的丰富信息，甚至会引入一些无用的背景信息，因此，提出cross-star deformable convolution，用来做feature adaption，以提供更有利于产生centripetal shift的特征，后续再接$3\times 3$conv + $1\times 1$卷积。如图(b)所示，cross-star deformable convolution更加关注交叉点和交叉线的丰富信息，最终产生噪声更少且置信度越高的corner（图(c )所示）。
  

2.3.2 原理

• deformable convolution采用双线性插值的方法对实现可变形卷积核，这种实现方法是无监督的，因为事先并不知道，卷积核的采样点应该在哪个位置，如下图所示：
  
  
• 而交叉点和交叉线的大致位置与边界框重合，因此，应该让卷积核关注这些区域，也即卷积核的offset是可以获取的，因此提出了可监督的可变形卷积：cross-star deformable convolution。
• 由于左上角点只需要关注右交叉线和下交叉线（左交叉线和上交叉线将被视为干扰），所以可以采用左上角点到物体边界框中心的距离作为可变形卷积的监督偏移量，即
  
• guiding shift由前2个卷积层产生，其损失函数为
  
  $${\delta }_{tl}=(\frac{t{l}_{ctx}}{s}-\lfloor \frac{t{l}_x}{s}\rfloor ,\frac{t{l}_{cty}}{s}-\lfloor \frac{t{l}_y}{s}\rfloor )$$

其中，${\delta }_{tl}$表示位置$i$的 guiding shift，该offset是在特征图层面上的offset。

注：目前对于如何使用监督的方法来生成offset field的具体细节还不太清楚。

3.实验

3.1 centripetal shift的有效性

• centripetal shift：移除cross-star deformable convolution and mask head，直接使用CornerNet的方法生成centripetal shift（在corner pooling feature maps之后直接接$3\times 3$卷积和$1\times 1$卷积），此时$AP=40.7\%$
• associative emb.2D：移除cross-star deformable convolution and mask head，直接使用CornerNet的方法生成2维associative embedding，此时$AP=37.5\%$，表明centripetal shift的作用比associative embedding大，原因是centripetal shift编码了corner和center的关系，同时引入位置信息。
• center prediction：采用分类的方法得到中心点。使用CenterNet的方法生成center heatmap和center offset map，于是每个角点对应一个中心点，接着采用本文提出的关键点匹配方法，其结果为$AP=39.9\%$，此时也引入了角点和中心点的关系，但效果不如centripetal shift。
• center regression：采用回归的方法得到中心点。
  

3.2 cross-star deformable convolution的有效性

采用多种特征自适应方法进行对比：

3.3 最终性能

• CentripetalNet的召回率比CornerNet高，因为CornerNet采用associative embedding进行分组，可能会产生高分的false positive，而CentripetalNet则不会。
• CentripetalNet的召回率比CenterNet高，因为CenterNet可能会因为一些错误的中心点，错误地把positive消除掉。

4.总结

• 从CornerNet、CenterNet到CentripetalNet的发展，证明了center对于keypoint-based anchor-free模型的重要性。
• 从FCOS到AutoAssign以可以看出，center对于anchor-point模型的重要性。