1.简介

在过去的十年中，多目标跟踪（MOT）已经成为新兴的研究领域，同时已经发布了具有代表性的MOT基准数据集[1、4、9]，同时，基于检测跟踪已成为MOT的主要趋势。 同样，通过基于深度神经网络（DNN）的检测器[10、12、13、14]分别从各种传感器领域（例如彩色相机（2D图像）和激光雷达（3D点云））获得了突破。 根据这些输入源，检测器给出不同的输出，即观测值。 例如，[12，13]的检测响应是2D边界框，[10，14]的检测响应是3D框。 此外，K.He等人在 [5]中介绍了一种以实例分割为代表的逐像素分类和检测方法，该方法激发了许多基于分割的研究。 图1显示了这三种检测结果的示例。

图1。KITTI数据集中对同一图像可视化的检测结果示例。（a） 和（c）分别从Regionlets[19]和Mask R-CNN[5]中获得。（b） 从R-CNN[14]点获得，使用激光雷达3D点云输入并校准到相机图像坐标。每个对象都有一个类别编号，表示汽车或行人。

因此，一项新的针对MOT的研究在近期被提出来，旨在针对像素级的智能系统的研究，Voigtlaender等人在[18]中首次引入该系统并称之为多目标跟踪与分割（MOTS）， 他们还发布了从KITTI [4]和MOTChallenge [9]图像序列扩展的新数据集。 Luiten等人在[11]中提出了一种MOTS方法，该方法将2D框检测，3D框检测和实例分割结果融合在一起。 基于这些MOTS方法和其他常规MOT研究的启发，我们在本文中提出了一种高度实用的在线MOTS方法。 我们的贡献总结如下：
1）我们提出了一种高度实用的在线MOTS方法，该方法基于（a）GMPHD过滤器，并且由（b）分层数据关联（HDA），（c）掩码合并 ，和（d）简单相似融合（SAF）组成。 这四个模块成功构建了可行的在线MOTS框架。
2）我们在最新的数据集上评估提出的方法[18]。 与baseline方法相比，训练集上的评估结果显示出逐步的改进。 在测试集的结果中，我们的方法不仅显示了针对最新发布方法的最佳性能，而且还针对针对最新未发布方法的最新性能（可在以下网站获得） KITTI-MOTS和MOTSChallenge网站的排行榜。
第二节详细介绍了所提出的方法，第三节讨论了实验结果，第四节总结了本文的研究成果。从现在起，我们将使用GMPHD_SAF作为所提议方法的缩写。

2.提出的方法

GMPHD滤波[17]已广泛用于在基于2D边界框的在线MOT方法[2、3、8、16]。 因此，我们将其用于在线多目标跟踪与分割，即MOTS。 GMPHD_SAF包含四个关键组件：基于GMPHD过滤器的跟踪过程，分层数据关联（HDA），掩码合并和简单亲和力融合（SAF）。 在本节中，我们将介绍这些关键模块在HDA中工作的输入/输出，SAF如何融合位置和运动以及外观相似度以及用于掩码合并的度量标准，如图2所示。

图2.具有输入(图像和实例分割结果)和输出(MOTS结果）的GMPHD SAF的处理管道。关键组件是分层数据关联(HDA),掩码合并和简单亲和力融合(SAF)。HDA具有两个关联步骤：S2TA和T2TA。SAF在每个关联步骤中执行每个亲和力融合，而Mask合并在S2TA和T2TA之间运行一次。

2.1 GMPHD滤波

GMPHD滤波跟踪的主要步骤包括初始化、预测和更新，补充资料[15]中详细介绍了这些步骤。
在$t$时刻的观测值（实例分割）和状态（分段轨迹）表示如下：

其中状态向量$x_t$由一个带有轨迹ID的${x,y,vx,vy}$以及分割掩码组成。$x,y$和$vx,vy$分别表示分割掩码的2D边界框中心坐标，以及$x,y$方向上的速度。观测向量$z_t$由分割掩码的${x,y}$坐标构成。用$zt$初始化表示$x_t$的高斯模型，预测$x_{t+1} | t$，然后由$z_{t+1}$更新为$x_{t+1}$。

2.2 层次数据关联

层次数据关联有两个步骤：分割掩码——目标的关联（S2TA）以及目标——目标的关联（T2TA）。每个关联过程都有不同的观测向量和状态向量作为输入来计算$affinity_{pm}$以及$affinity_{appr}$(如图2)。其中${affinity}_{pm}$表示位置/运动相似度（根据GMPHD计算），$affinity_{appr}$表示外观相似度（根据KCF计算）。
分割掩码——目标的关联 在$t$时刻的输入为观测向量（2）以及状态向量（1）。
目标——目标的关联 输入为正在被跟踪目标以及丢失目标的观测向量和状态向量。两者向量信息包含状态向量（1）以及开始的时间$t_b$和丢失的时间$t_l$。正在被跟踪目标的$t_b$与当前时刻$t$相同，而$t_l$还没有分配。丢失目标的$t_l$小于当前时刻$t$意味着目标在当前时刻之前就丢失了。
将这些信息输入到S2TA以及T2TA，我们利用匈牙利算法来计算相似度（成本）矩阵。之后，对一些观测目标进行关联匹配和状态更新，而没有匹配成功的观测目标则认为是新的目标进行初始化。

2.3 简单相似度融合

从不同域获得的融合相似度需要一个标准化步骤，该步骤可以平衡不同相似度并避免一个相似度的偏向（该相似度可能比其他相似度高）。
**位置/运动相似度.**事实上，GMPHD滤波和Kalman滤波都是被设计用来在噪声条件瞎进行线性预测。因此使用GMPHF滤波计算第$i$个状态向量和第$j$个观测值的位置/运动相似度的概率值，$w·q(z)$：

由GMPHD滤波的更新步骤获得。
外观相似度 我们使用KCF来计算第$i$个状态向量和第$j$个观测值的外观相似度。其可以由如下公式得到：
其中$\overline{d}(·)$表示在一个像素处范围为0.0到1.0的归一化KCF距离值。

最小-最大归一化$A_{pm}$和$A_{appr}$有不同的尺度，例如$A_{pm}=\{0.0,...,10^{-3}\}$,$A_{appr}=\{0.4,...,1.0\}$，在实验中，为了融合两个相似度，我们使用了最小-最大归一化：

因此我们提出简单相似度模型融合方法如下：

其中$α$是尺度因子凭经验设置为100。如果其中一个相似度值接近0（例如$10^{-39}$），那么$cost$被设置为10000来皮面最终的$cost$值成为无穷大。所以最终的$cost$取值范围是0~10000。

2.4 掩码合并

掩码合并模型如图2所示，我们基于IoU来设计Mask IoU，他们的表达方式如下：

参考文献

[1] I. Reid S. Roth A. Milan, L. Leal-Taix´e and K. Schindler. Motchallenge 2015.
[2] N. L. Baisa and A. Wallace. Development of a N-type GMPHD filter for multiple target, multiple type visual tracking.Journal of Visual Communication and Image Representation, 59:257–271, 2019.
[3] Z. Fu, F. Angelini, J. Chambers, and S. M. Naqvi. Multilevel cooperative fusion of GM-PHD filters for online multiple human tracking. IEEE Trans. Multimed., 21(9):2277– 2291, 2019.
[4] A. Geiger, P. Lenz, and R. Urtasun. Are we ready for autonomous driving? the KITTI vision benchmark suite. In CVPR, 2012.
[5] K. He, G. Gkioxari, P. Doll´ar, and R. Girshick. Mask RCNN. In ICCV, 2017.
[6] J. F. Henriques, R. Caseiro, P. Martins, and J. Batista. Highspeed tracking with kernelized correlation filters. IEEE Trans. Pattern Anal. Mach. Intell., 37(3):583–596, 2015.
[7] R. Jonker and A. Volgenant. A shortest augmenting path algorithm for dense and sparse linear assignment problems. Computing, 38(4):325–340, 1987.
[8] T. Kutschbach, E. Bochinski, V. Eiselein, and T. Sikora. Sequential sensor fusion combining probability hypothesis density and kernelized correlation filters for multi-object tracking in video data. In AVSS, 2017.
[9] I. Reid S. Roth L. Leal-Taix´e, A. Milan and K. Schindler. MOT16: A benchmark for multi-object tracking. arXiv Preprint arXiv:1603.00831, 2016.
[10] A.H.Lang,S.Vora,H.Caesar,L.Zhou,J.Yang,andO.Beijbom. Pointpillars: Fast encoders for object detection from point clouds. In CVPR, 2019.
[11] J. Luiten, T. Fischer, and B. Leibe. Track to reconstruct and reconstructtotrack. arXivPreprintarXiv:1910.00130,2019.
[12] J. Redemon, S. Divvala, R. Girshick, and A. Farhadi. You only look once: Unified, real-time object detection. In CVPR, 2016.
[13] S. Ren, K. He, R. Girshick, , and J. Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. In NIPS, 2015.
[14] S. Shi, X. Wang, and H. Li. Pointrcnn: 3d object proposal generation and detection from point cloud. In CVPR, 2019.
[15] Y. Song. Supplementary material for ‘online multi-object tracking and segmentation with gmphd filter and simple affinity fusion”, 2020. Supplied as additional material bmtt2020 ymsong suppl.pdf, https://github.com/SonginCV/
GMPHD_SAF.
[16] Y. Song, K. Yoon, Y. Yoon, K. C. Yow, and M. Jeon. Online multi-object tracking with GMPHD filter and occlusion group management. IEEE Access, 7:165103–165121, 2019.
[17] B.-N. Vo and W.-K. Ma. The Gaussian mixture probability hypothesis density filter. IEEE Trans. Signal Process., 54(11):4091–4104, 2006.
[18] P. Voigtlaender, M. Krause, A. O˘sep, J. Luiten, B. B. G. Sekar, A. Geiger, and B. Leibe. MOTS: Multi-object tracking and segmentation. In CVPR, 2019.
[19] X.Wang,M.Yang,S.Zhu,andY.Lin.Regionletsforgeneric object detection. IEEE Trans. Pattern Anal. Mach. Intell., 37(10):2071–2084, Oct. 2015.
[20] Y. Wu, A. Kirillov, F. Massa, W.-Y. Lo, and R. Girshick. Detectron2. https://
github.com/facebookresearch/detectron2, 2019.