本文对Yi Luo于2019年发表的语音分离论文Conv-TasNet进行简单地翻译。如有不当之处欢迎批评指正

1. 论文目的

  提出一种端到端的全卷积时域语音分离网络—Conv-TasNet。

2. 摘要

  近些年，单通道、说话人无关的语音分离方法已经取得了很大的进步。但是，这些方法的准确性、延迟和计算成本等仍然存在不足之处。以前的方法大多都是通过混合信号的时频表示来解决分离问题的，这存在以下几个缺点，包括信号相位和幅度的解耦、语音分离时频表示的次优性、以及计算频谱的时间延迟等。为了解决这些缺点，作者提出了一种全卷积时域音频分离网络—Conv-TasNet，这是一种端到端的时域语音分离的深度学习框架。Conv-TasNet使用线性编码器​​生成语音波形的表示形式，并针对单个说话人的分离进行了优化。然后将一组加权函数（掩码）应用于编码器的输出来实现说话人分离。最后使用线性解码器将修改后的编码器的表示形式反转回语音波形。使用由一维膨胀卷积块组成的时域卷积网络计算掩码，这使得网络可以对语音信号的长期依赖性进行建模，同时保持较小的模型尺寸。文章所提出的Conv-TasNet系统在分离两个和三个说话人方面明显优于以前的时频掩蔽方法。此外，Conv-TasNet在两个说话人的语音分离中超过了几个理想的时频幅度掩码，这个结论是通过客观失真测量和听众的主观质量评估得出的。最后，Conv-TasNet具有较小的模型尺寸以及较短的最小延迟，这使其成为离线和实时语音分离的合适解决方案。因此，这项研究代表了朝着实现真实世界语音处理技术的语音分离系统迈出了重要一步。

3. 介绍

  现实世界声学环境中的鲁棒语音处理通常需要自动语音分离。由于该研究课题对语音处理技术很重要，因此许多解决该问题的方法已经被提了出来。但是，语音分离的准确性仍然不够，特别是对于新的说话人。

  以前的语音分离方法大多都是在混合信号的时频表示上实现的，这些时频表示是使用短时傅立叶变换（STFT）从波形中估计出来的。 时频域的语音分离方法旨在从混合频谱中近似估计出各个源的干净频谱。可以通过使用非线性回归技术直接将混合频谱中的每个源的频谱近似表示出来，其中将干净频谱作为训练目标。可替代地，也可以估计每个源的加权函数（掩码），然后和混合频谱的每个时频点相乘来恢复出各个源。近年来，深度学习通过提高掩码估计的准确性，极大地提高了时频掩蔽方法的性能。在直接方法和掩码估计方法中，每个声源的波形都是通过对每个声源的幅度谱估计值以及混合声的原始相位或修改过的相位进行短时傅立叶逆变换（iSTFT）得到的。

  尽管时频掩蔽仍然是最常用的语音分离方法，但该方法存在一些缺点。第一，STFT是一种通用的信号变换方法，它对语音分离来说不一定是最佳的。第二，对干净声源的相位进行精确重建是一个重要的问题，并且相位的错误估计会拉低重建音频的上限。尽管一些方法通过重建相位来缓解此问题，但性能仍然欠佳。第三，成功地从时频表示中分离声源对混合信号进行高分辨率的频率分解，这需要较长的时间窗来计算STFT。该要求增加了系统的最小延迟，这限制了其在实时、低延迟应用中的适用性。例如，在大多数语音分离系统中，STFT的窗口长度至少为32 ms，在音乐分离应用中甚至更大，而音乐分离应用则需要更高分辨率的频谱（高于90 ms ）。

  由于这些问题是在时频域做分离引起的，因此一种自然而然的方法是通过在时域中做分离来避免声音的幅度和相位解耦。以前的研究已经通过诸如独立成分分析（ICA）和时域非负矩阵分解（NMF）等方法探索了时域语音分离的可行性。但是，这些系统的性能无法与时频方法的性能相提并论，尤其是缩放和泛化到大数据集方面。另一方面，最近的一些研究已经探索了用于时域音频分离的深度学习。所有这些系统的共同想法是用数据驱动的表示来替代使用STFT提取特征的步骤。这些表示及其逆变换可以明确设计为替代STFT和iSTFT。或者，可以将特征提取与分离一起隐含在网络体系结构中，例如，使用端到端卷积神经网络（CNN）。这些方法从波形中提取特征的方式以及分离模块的设计方式均不同。在有些文献中，首先将由离散余弦变换（DCT）驱动的卷积编码器作为前端。然后将编码器特征馈送给多层感知器（MLP）来做分离。最后通过逆向执行编码器的操作来实现波形的重建。在有些文献中，分离操作被并入到U-Net 1-D CNN体系结构中[24]，而无需将输入明确地转换为类似频谱的表示形式。但是，这些方法在大型语音语料库上的性能尚未经过测试。另一种类似的方法是时域音频分离网络（TasNet）。在TasNet中，使用卷积编码器—解码器结构对混合信号进行建模，该结构由在其输出上具有非负约束的编码器和用于将编码器输出转换回声音波形的线性解码器组成。该框架类似于使用非负混合矩阵的ICA方法和半负矩阵分解方法（semi-NMF），其中基础信号是解码器的参数。TasNet中的分离步骤是通过为编码器的输出计算每个信号源的加权函数（类似于时频掩蔽）来完成的。事实证明，TasNet的性能和以前的各种时频域系统性能相当或者更好，显示了其有效性和潜力。

  尽管TasNet在因果实现和非因果实现中都优于以前的时频语音分离方法，但原始TasNet将深度长短时记忆（LSTM）网络作为分离模块会大大限制其适用性。第一，在编码器中选择较小的内核尺寸（即波形段的长度）会增加编码器输出的长度，这使得LSTM的训练变得难以管理。第二，深度LSTM网络中的大量参数显著增加了其计算成本，并限制了其在低资源、低功耗平台（例如可穿戴式听力设备）中的适用性。文章将说明的第三个问题是LSTM网络在时间上的长期依赖性，这经常导致分离精度不一致，例如，在更改混合信号的起点时。为了减轻TasNet的局限性，作者提出了全卷积TasNet（Conv-TasNet），在处理的所有阶段均仅使用卷积层。受时间卷积网络（TCN）模型成功的推动，Conv-TasNet使用堆叠的膨胀一维卷积块代替深层LSTM网络进行分离。卷积的使用允许对连续帧或片段进行并行处理，从而大大加快了分离过程，并且还大大减小了模型大小。为了进一步减少参数量和计算成本，我们用深度可分离卷积替换了原始卷积运算。通过这些修改，Conv-TasNet的因果和非因果实现均大大提高了LSTM-TasNet的分离精度。此外，Conv-TasNet的分离精度在信噪比（SDR）和主观（平均意见得分，MOS）度量方面都超过了理想时频幅度掩码的性能，包括理想二值掩码（IBM）、理想比例掩码（IRM）和类似于维纳滤波器的掩码（WFM）。

3. 卷积时域音频分离网络

  全卷积时域音频分离网络（Conv-TasNet）由三个处理阶段组成，如图1（A）所示：编码器，分离和解码器。 首先，编码器模块将混合信号的短片段转换为中间特征空间中的相应表示。 然后，使用该表示来估计每个源的乘法函数（掩码）。 最后，解码器模块通过转换掩蔽之后的编码器特征来重建源波形。

A. 时域语音分离

  单通道语音分离问题可以通过从给定的混合信号$x(t)\in \mathbb{R}^{1\times T}$中估计$C$个源$s_1(t),...,s_c(t)\in \mathbb{R}^{1\times T}$来定义：
$x(t)=\sum_{i=1}^{C}s_i(t)\tag{1}$

  在时域音频分离中，直接从$x(t)$中估计出$s_i(t),i=1,...,C$。

B. 卷积编码器—解码器

  输入的混合信号可以被分为长度为$L$的重叠段，使用${\bf{x}}_k\in \mathbb{R}^{1\times L}$表示，$k=1,...,\hat{T}$表示段的索引，$\hat{T}$表示输入的分段总数。通过一维卷积运算将${\bf{x}}_k$转换为N维表示${\bf{w}}\in \mathbb{R}^{1×N}$，这可以使用矩阵乘法表示（从现在起删除索引$k$）：
${\bf{w}}=\mathcal{H}({\bf{xU}})\tag{2}$
其中${\bf{U}}\in \mathbb{R}^{N\times L}$包含了$N$个向量（编码器基函数），每个向量长为$L$。$\mathcal{H}(\cdot)$是一个可选的非线性函数。有些文献中$\mathcal{H}(\cdot)$是整流线性单元（ReLU）以确保非负。解码器使用一维转置卷积运算从该表示形式重建出波形，可以将其用矩阵乘法表示为：
$\hat{{\bf{x}}}={\bf{wV}}\tag{3}$
其中$\hat{{\bf{x}}}\in \mathbb{R}^{1\times L}$是重建的${\bf{x}}$，${\bf{V}}\in \mathbb{R}^{N\times L}$的行是解码器的基函数，每个长为$L$。将重叠的重构段相加在一起以生成最终的波形。

  尽管将编码器—解码器的操作表示为矩阵乘法的形式，但仍然使用了“卷积自动编码器”一词，因为在实际模型实现中，卷积层和转置卷积层可以更轻松地处理段之间的重叠，从而实现更快的训练和更好的收敛性。

C. 估计分离掩码

  通过估计$C$个向量（掩码）实现每帧的分离，${\bf{m}}_i\in \mathbb{R}^{1\times N}，i=1,...,C$，其中$C$是混合信号中说话人的数量且${\bf{m}}_i\in[0,1]$。将${\bf{m}}_i$应用到混合表示${\bf{w}}$上得到相应的源表示：
${\bf{d}}_i={\bf{w}}\odot{\bf{m}}_i\tag{4}$
其中$\odot$表示对应点相乘。估计的每个源的波形信号$\hat{{\bf{s}}}_i，i=1,...,C$通过解码器重建出来：
$\hat{{\bf{s}}}_i={\bf{d}}_i{\bf{V}}\tag{5}$
基于编码器—解码器体系结构可以完美地重构输入的混合信号这一假设，有些文献进行了以下约束$\sum_{i=1}^C{\bf{m}}_i={\bf{1}}$。 在后续的章节中，作者对此做进一步讨论。

D. 卷积分离模块

  受时间卷积网络（TCN）的启发，作者提出了一个由堆叠的一维膨胀卷积块组成的全卷积分离模块，如图1（B）所示。在各种序列建模任务中使用TCN替代RNN。 TCN中的每一层都由膨胀因子逐渐增加的一维卷积块组成。膨胀因子呈指数增长，以确保能包含足够大的时间上下文窗口，以利用语音信号的长时依赖性，如图1（B）中的不同颜色所示。在Conv-TasNet中，$M$个膨胀因子分别为$1,2,4,...,2^{M-1}$的卷积块被重复$R$次。每个块的输入都进行零填充，以确保输出长度与输入相同。 TCN的输出将被馈送到核大小为1的卷积块（1×1-$conv$块，也称为逐点卷积）以估计掩码。 1×1-$conv$块与非线性激活函数一起为C个目标源估计C个掩码矢量。

  图1（C）显示了每个一维卷积块的设计。 一维卷积块的设计遵循某个文献，这里面应用了残差路径和跳过连接路径：一个块的残差路径用作下一个块的输入，而所有块的跳过连接路径总和作为TCN的输出。 为了进一步减少参数数量，使用深度可分离卷积（$S\_conv(\cdot)$）替代每个卷积块中的标准卷积。 事实证明，深度可分离卷积（也称为分离卷积）在图像处理任务和神经机器翻译任务中是有效的。 深度可分离卷积算子将标准卷积运算解耦为两个连续的运算，即深度卷积（$D\_conv(\cdot)$），后面接着逐点卷积（1×1-$conv(\cdot)$）：
$D\_conv({\bf{Y,K}})=concat({\bf{y}}_j\circledast{\bf{k}}_j),j=1,...,N\tag{6}$
$S\_conv({\bf{Y,K,L}})=D\_conv({\bf{Y,K}})\circledast{\bf{L}}\tag{7}$
其中 ${\bf{Y}}\in\mathbb{R}^{G\times M}$是$S\_conv(\cdot)$的输入， ${\bf{K}}\in\mathbb{R}^{G\times P}$是大小为$P$的卷积核，${\bf{y}}_j\in\mathbb{R}^{1\times M}$和${\bf{k}}_j\in\mathbb{R}^{1\times P}$分别是矩阵${\bf{Y}}$和${\bf{K}}$的行，${\bf{L}}\in\mathbb{R}^{G\times H\times 1}$是大小为$1$的卷积核，$\circledast$表示卷积操作。换句话说，$D\_conv(\cdot)$将输入$Y$的每一行与$K$的对应行进行卷积操作，1×1-$conv(\cdot)$线性地变换空间特征。与核大小为$\hat{{\bf{K}}}\in \mathbb{R}^{G×H×P}$的标准卷积相比，深度可分离卷积仅包含$G\times P + G\times H$个参数，当$H\gg P$时，模型大小减小了$\frac{H\times P}{H+P}\approx P$倍。

  在第一个1×1-$conv(\cdot)$和$D\_conv(\cdot)$块之后分别添加了非线性激活函数和归一化操作。 非线性激活函数是参数整流线性单位（PReLU）：
$PReLU(x)= \begin{cases} x,& \text{if $x\ge0$}\\ \alpha x,& \text{otherwise} \end{cases} \tag{8}$
其中$\alpha\in \mathbb{R}$是一个控制整流器负斜率的可训练标量。网络中归一化方法的选择取决于因果关系要求。 对于非因果配置，作者凭经验发现全局层归一化（gLN）优于所有其他归一化方法。 在gLN中，特征会在通道和时间维度上进行归一化：
$gLN({\bf{F}})=\frac{{\bf{F}}-E[{\bf{F}}]}{\sqrt{Var[{\bf{F}}]}+\epsilon}\odot\gamma+\beta\tag{9}$
$E[{\bf{F}}]=\frac{1}{NT}\sum_{NT}{\bf{F}}\tag{10}$
$Var[{\bf{F}}]=\frac{1}{NT}\sum_{NT}({\bf{F}}-E[{\bf{F}}])^2\tag{11}$
其中${\bf{F}}\in \mathbb{R}^{N\times T}$是特征，$\gamma， \beta\in \mathbb{R}^{N\times 1}$是可训练的参数，$\epsilon$是一个为了数值稳定的小常量。这与在计算机视觉模型中应用的标准层归一化相同，其中通道和时间维度对应于图像中的宽度和高度维度。 在因果配置中，由于依赖于信号的未来值，因此无法使用gLN。 相反，作者设计了累积层归一化（cLN）操作以在因果系统中执行逐步归一化：
$cLN({\bf{f}}_k)=\frac{{\bf{f}}_k-E[{\bf{f}}_{t\leq k}]}{\sqrt{Var[{\bf{f}}_{t\leq k}]}+\epsilon}\odot\gamma+\beta\tag{12}$
$E[{\bf{f}}_{t\leq k}]=\frac{1}{Nk}\sum_{Nk}{\bf{f}}_{t\leq k}\tag{13}$
$Var[{\bf{f}}_{t\leq k}]=\frac{1}{Nk}\sum_{Nk}({\bf{f}}_{t\leq k}-E[{\bf{f}}_{t\leq k}])^2\tag{14}$
其中${\bf{f}}_k\in \mathbb{R}^{N\times 1}$是整个特征${\bf{F}}$的第$k$帧，${\bf{f}}_{t\leq k}\in \mathbb{R}^{N\times k}$对应于$k$帧特征$[{\bf{f}}_1,...,{\bf{f}}_k]$，$\gamma， \beta\in \mathbb{R}^{N\times 1}$是应用于所有帧的可训练的参数。为了确保分离模块对于输入的缩放不敏感，先将选择的归一化方法应用到编码器的输出${\bf{w}}$上，然后再将该结果馈送到分离模块。

  分离模块的开头添加了一个线性1×1-$conv$块作为bottleneck layer。 这个块确定了随后卷积块的输入路径和残差路径的通道数。 例如，如果该线性bottleneck layer具有$B$个通道，则对于通道数为$H$且核大小为$P$的一维卷积块，第一个1×1-$conv$块和第一个$D\_conv$块中的核大小应分别为$O\in \mathbb{R}^{B\times H\times 1}$和$K\in \mathbb{R}^{H\times P}$，并且残差路径中的核大小应为${\bf{L}}_{Rs}\in \mathbb{R}^{H\times B\times 1}$。 跳过连接路径中的输出通道数可以不同于$B$，将该路径中的核大小表示为${\bf{L}}_{Sc}\in \mathbb{R}^{H\times Sc\times 1}$。