基于深度学习的声纹识别算法研究

【摘要】：随着各种智能终端设备的应用与普及,生物特征识别技术以其便捷性逐渐在各类身份验证场景下扮演越来越重要的角色。声纹识别属于生物特征识别的一种,基于人的语音信号进行身份识别,被广泛应用于刑侦、金融风控、语音终端的人机交互等各类场景。根据应用场景不同,可以分为说话人确认和说话人辨认两个任务。根据是否对语音的文本内容进行限定,声纹识别又分为文本相关型和文本无关型两个类别。本文主要针对难度较大的文本无关型声纹识别,并对说话人确认任务和说话人辨认任务分别进行了相关测试。本文提出了一种端到端的声纹识别算法,包括基于注意力机制的神经网络模型和基于度量学习的模型训练方式。本文所提出的网络模型结合了残差卷积神经网络和注意力机制,不仅将注意力机制应用到了高层特征提取,同时提出了一种基于注意力机制的时域池化方法,以学习对于不同语音片段的特征进行自适应的权重分配。基于三元损失函数,本文提出了一种新颖的在线难样本挖掘方式以统一同类样本对的约束条件,并在此基础上针对三元损失难以训练的问题提出了一种稳定训练的方案。基于Voxceleb1数据集进行模型训练,该方案在说话人确认任务上达到了5.3%的等错误率,优于目前最流行的i-vector模型和x-vector模型。此外,本方案是一种端到端的实现,不需要多余的后端作为打分模型,而i-vector模型和x-vector模型都依赖于单独训练的PLDA模型进行打分。在基于Voxceleb2数据集进行训练的情况下,该方案进一步将Voxceleb1验证集上的等错误率降低到了4.05%,优于原文中采用对比损失训练的Res Net-34模型以及Res Net-50模型,且本文提出的网络模型的复杂度远低于Res Net-34。针对一般的多分类任务,本文提出了一种度量学习损失函数与softmax交叉熵联合训练的模型训练方法,即先采用本文阐明的CRL损失函数训练网络的瓶颈特征,然后通过softmax交叉熵训练最终的全连接分类层。通过采用切断瓶颈特征与分类层之间的梯度传播的方式可以将这两个步骤同时进行,在Voxceleb1数据集上,该方法将Top-1准确率进一步提升了3.6%。