1 NMS及其改进

NMS（贪心算法）

• 1 将所有框的得分排序，选中最高分及其对应的框；
• 2 遍历其余的框，如果和当前最高分框的重叠面积 (IOU) 大于一定阈值，我们就将框删除；
• 3 从未处理的框中继续选一个得分最高的，重复上述过程。
• 问题：如果两个物体重叠较大，就会漏检一个。

Soft NMS 2017

• 将重合率高的得分减少，而不是直接为0（即删掉）
• 有线性加权和高斯加权
  $s_{i}=\left\{\begin{array}{ll} s_{i}, & \text { iou }\left(\mathcal{M}, b_{i}\right)<N_{t} \\ s_{i}\left(1-\operatorname{iou}\left(\mathcal{M}, b_{i}\right)\right), & \text { iou }\left(\mathcal{M}, b_{i}\right) \end{array}\right.$
  $s_{i}=s_{i} e^{-\frac{i o u\left(\mathcal{M}, b_{i}\right)^{2}}{\sigma}}, \forall b_{i} \notin \mathcal{D}$
• 流程：
  
• Soft NMS：将重叠bbox加权抑制，减少得分。但还是会设置一个阈值，当得分小于这个阈值(如0.001)的时候，把这个框删掉。
• 优缺点：

优点：
1、Soft-NMS可以很方便地引入到object detection算法中，不需要重新训练原有的模型、代码容易实现，不增加计算量（计算量相比整个object detection算法可忽略）。并且很容易集成到目前所有使用NMS的目标检测算法。
2、soft-NMS在训练中采用传统的NMS方法，仅在推断代码中实现soft-NMS。作者应该做过对比试验，在训练过程中采用soft-NMS没有显著提高。
3、NMS是Soft-NMS特殊形式，当得分重置函数采用二值化函数时，Soft-NMS和NMS是相同的。soft-NMS算法是一种更加通用的非最大抑制算法。
缺点：
soft-NMS也是一种贪心算法，并不能保证找到全局最优的检测框分数重置。除了以上这两种分数重置函数，我们也可以考虑开发其他包含更多参数的分数重置函数，比如Gompertz函数等。但是它们在完成分数重置的过程中增加了额外的参数。

ConvNMS 2015

• A Convnet for Non-maximum Suppression
• 其主要考虑IoU阈值设定得高一些，则可能抑制得不够充分，而将IoU阈值设定得低一些，又可能多个ture positive被merge到一起。其设计一个卷积网络组合具有不同overlap阈值的greedyNMS结果，通过学习的方法来获得最佳的输出。
• 介绍

Pure NMS Network 2017

• 和ConvNMS是相同作者
• Learning non-maximum suppression
• 检测器对于每个目标仅产生一个检测结果有两个关键点是必要的，一是一个loss惩罚double detections以告诉检测器我们对于每个目标仅需一个检测结果，二是相邻检测结果的joint processing以使得检测器具有必要的信息来分辨一个目标是否被多次检测。论文提出Gnet，其为第一个“pure”NMS网络。

Softer NMS 2018

• Rethinking Bounding Box Regression for Accurate Object Detection
• 论文的motivation来自于NMS时用到的score仅仅是分类置信度得分，不能反映Bounding box的定位精准度，既分类置信度和定位置信非正相关的。NMS只能解决分类置信度和定位置信度都很高的，但是对其它三种类型：“分类置信度低-定位置信度低”，“分类置信度高-定位置信度低”，“分类置信度低-定位置信度高“都无法解决。
• 首先假设Bounding box的是高斯分布，ground truth bounding box是狄拉克delta分布（即标准方差为0的高斯分布极限）。KL 散度用来衡量两个概率分布的非对称性度量，KL散度越接近0代表两个概率分布越相似。
• 提出的KL loss，即为最小化Bounding box regression loss，既Bounding box的高斯分布和ground truth的狄拉克delta分布的KL散度。直观上解释，KL Loss使得Bounding box预测呈高斯分布，且与ground truth相近。而将包围框预测的标准差看作置信度。
  
• 提出的Softer-NMS，基于soft-NMS，对预测标注方差范围内的候选框加权平均，使得高定位置信度的bounding box具有较高的分类置信度。
• 流程：
  
• 预测的四个顶点坐标，分别对IoU＞Nt的预测加权平均计算，得到新的4个坐标点，第i个矩形框的x1：
  $\begin{array}{l} x 1_{i}:=\frac{\sum_{j} x 1_{j} / \sigma_{x 1, j}^{2}}{\sum_{j} 1 / \sigma_{x 1, j}^{2}} \\ \text { subject to } \operatorname{IoU}\left(x_{1 j}, x_{2}\right)=N_{t} \end{array}$

Fitness NMS 2017

• Improving Object Localization with Fitness NMS and Bounded IoU Loss
• • 这种方法考虑了大于估计的重叠的IoU和预测的bounding boxes的分类得分。