Leveraging Third-Order Features in Skeleton-Based Action Recognition

CVPR2021

利用基于骨架的动作识别中的三阶功能

---

从3D关节坐标提取特征作为空间时间线索，在GNN中用于融合图像。使用第一和二阶特征，即关节和骨骼表示导致了高精度，但是许多模型仍被具有类似运动轨迹的运动混淆。文章提出以角度的形式作为第三阶特征融合到架构中，来更鲁棒地捕捉关节和身体部位之间关系。

骨架被视为曲线图，顶点是关节，边缘是骨骼。一阶特征是关节，二阶特征是骨骼（一个关节与邻居关节在体中心方向之间的矢量差）。

文章提出以角度形式使用三阶表示，角度特征，包括角度距离和速度捕获身体部位之间的相对运动，同时保持对人类身体不同尺寸不变性。

邻接矩阵来学习节点之间的关系，邻接矩阵仅捕获承兑相关性，而角度是涉及三个相关关节的三阶关系。

1. 提出了角度距离特征形式的三阶表示以及它们的速度。它们捕获身体部位之间的相对运动，同时保持对不同人体尺寸的不变性。
2. 角度特征可以容易地融合到现有的动作识别架构中以进一步提高性能。实验表明，角度特征是在现有特征中的互补信息，即关节和骨骼表示。文章是第一个将角度集成到现代空间的GCN中，并在包括NTU60和NTU120的几个基准上实现最先进的结果。
3. 简单而强大的模型采用较少的训练参数，并且需要较少的推理时间，从而能够在边缘设备上支持实时动作识别。

Angular Feature Encoding

Angular Feature Representation

目标关节$u$，和两个骨骼端点$w_1,w_2$，${\vec{b}}_{u{w}_i}=(x_{w_i}-x_u,y_{w_i}-y_u,z_{w_i}-z_u)$。

角度距离：$d_a(u)=\{\begin{array}{cc}1-\cos \theta =1-\frac{{\vec{b}}_{u{w}_1}\cdot {\vec{b}}_{u{w}_2}}{|{\vec{b}}_{u{w}_1}||{\vec{b}}_{u{w}_2}|}& \mathrm{i}\mathrm{f}u\ne w_1,u\ne w_2\\ 0& \mathrm{i}\mathrm{f}u=w_1\mathrm{o}\mathrm{r}u\ne w_2\end{array}$

其中，$\theta$是${\vec{b}}_{u{w}_1},{\vec{b}}_{u{w}_2}$之间的角度，且$w_1,w_2$不需要是节点u的邻接节点。特征$\theta$值从0到$\pi$，第三阶特征更多关注运动，并对人类尺寸不变。

Angular velocity

连续框架之间的角度的时间差异：$v_a^{(t+1)}(u)=d_a^{(t+1)}(u)-d_a^{(t)}(u)$

定义了四种角度特征：

locally-defined angles：在关节及其两个相邻的邻居之间测量局部限定的角度。如果目标关节只有一个相邻的关节，将角度特征设置为零。当关节有两个以上的相邻关节时，选择最活跃的两者。

Center-Oriented Angles：以中心为导向的角度测量目标接头和代表颈部和骨盆的两个身体中心接头之间的角距。给定目标关节，使用两种方向角度：1）颈部-目标-骨盆，称为未固定轴，和2）颈骨-骨盆-目标，称为固定轴。对于代表颈部和骨盆的关节，将角度特征设置为零。以中心为导向的角度测量目标接头和体中心接头之间的相对位置。例如，给定胳膊肘作为目标关节从体中心向外水平移动的目标关节，未固定轴角度降低，而固定轴角度增加。

Pair-Based Angles：基于对的角度测量目标关节和四对端点之间的角度：手，肘部，膝盖和脚，如图2（c）所示。如果目标接头是端点之一，则将要素值设置为零。由于他们在执行行动方面的重要性，选择这四对。基于对的角度有利于识别与对象相关的动作。例如，当一个人拿着一个盒子时，目标关节和手之间的角度可以指示盒子的尺寸。

Finger-Based Angles：手指积极参与人类行为。当每只手的骨架有手指关节时，包括更详细的基于手指的角度来整合它们。如图2（d）所示，选择对应于手指的两个关节作为角度的锚端点。基于手指的角度可以间接地描绘手势。例如，与手腕作为根和手尖的角度以及拇指作为两个端点的角度可以反映手动程度。

backbone：

从骨架中提取三种不同的特征，并输入三个空间时间块（STB）的堆叠。输出顺序地传递给全局平均池，一个完全连接的图层，然后是用于动作分类的softmax层。文章使用MS-G3D作为模型的骨干，但删除了他们的重建图3D卷积（G3D）模块，权衡计算成本的性能增益，称之为生成的系统Angnet。提出的角度特征与骨干网络的选择无关。

从每个动作视频中提取关节，骨骼和角度特征。对于骨骼特征，如果关节具有多个相邻节点，则选择更靠近身体中心的关节。所以，给出肘关节，使用从肘部到肩部的向量而不是从肘部到手腕的载体。对于角度，为每个关节提取七个或九个角度（without/with finger-based angles），构成七个或九个特征通道。最终，对于每个动作，构建一个特征张量$X\in {\mathbb{R}}^{C\times T\times V\times M}$。

每个STB包括空间多尺度图卷积（SMGC）单元和三个时间多尺度卷积（TMC）单元。SMGC单元包括图形卷积层的并联组合。图形卷积的邻接矩阵是由动力邻接矩阵$A^k$和学习掩模$A_{mask}^k$的总和产生的。

powered邻接矩阵：为防止过度处理，避免顺序堆叠多个图形卷积层以使网络深。创建具有不同尺寸的接收字段的图形卷积层，我们直接使用邻接矩阵的power而不是自身汇总多跳邻居信息。因此，$A_{ij}^k=1$表示关节i和j之间的路径存在且在k-hops之内。将输入源进入K图形卷积分支，具有不同的接收领域。K不超过骨架图中的最长路径。

learnable掩码：使用骨架作为固定图无法捕获关节中的非物理依赖性。例如，两只手可以始终结合执行动作，而它们不会在骨架中物理连接。推断关节中的潜在依赖关系，使用邻接矩阵的学习掩模。

TMC由七个并行时间卷积分支组成。每个分支从1×1卷积开始，以聚合不同通道之间的功能。随着输入传递的不同分支发散的功能，可以分为四组。详细说明：（a）提取多尺度时间特征：该组包含四个3×1个时间卷积，应用四种不同的扩张以获得多尺寸的时间接收领域。（b）当前框架内的处理功能：该组仅具有1×1以集中单个帧内的功能。（c）强调连续帧内最突出的信息：组以3×1最大池层结束以绘制最重要的功能。（d）保留梯度：最终组包含一个残余路径，以保持回波期间梯度的大小。

文章提出了角度特征形式的三阶表示，所提出的角度特征突然捕获不同身体部位之间的相对运动，同时保持对受试者变化的鲁棒性。因此，能够区分具有类似运动轨迹的具有挑战性的动作。实验结果表明，角度特征与现有特征互补，即关节和骨骼表示。通过将角度特征纳入一个简单的动作识别GCN，在几个基准上实现了新的最先进的准确性，同时保持较低的计算成本，从而支持边缘设备上的实时动作识别。