基于深度神经网络的语音增强模型研究

【摘要】：语音增强是语音预处理中一个尤为重要的领域。在过去的几十年中,学者们已经提出了许多无监督的语音增强方法,但由于这些传统单通道无监督语音增强方法通常会对信号进行一些不合理的假设,导致“音乐噪声”、语音失真甚至语音丢失问题的出现,很大程度上限制了性能上限。近年来,深度神经网络(Deep Neural Network,DNN)在语音增强领域受到了越来越多的关注和应用。由于DNN具有的深层非线性结构,因此网络本身可以看作是降噪滤波器。同时基于大数据训练,DNN可以通过训练获得对目标语音的估计,故而能较好表现噪声和干净语音的复杂关系。因此,本文的主要研究方向是基于DNN的语音增强模型,本文提出了与传统无监督语音增强方法不同的语音增强方法,这种方法几乎不需要做任何假设,并且能够准确学习带噪和干净语音的复杂关系,可以取得很大程度的性能提升。而为了进一步提高模型在复杂环境下的泛化能力,本文围绕训练数据处理、模型融合来提升模型性能,着重研究模型在低信噪比环境下的语音失真问题以及提高模型在复杂环境下对多种噪声类型的泛化能力。具体如下:首先,研究了语音增强以及深度神经网络的基本理论。详细叙述了语音信号预处理技术、传统无监督语音增强方法以及有监督语音增强方法等典型方法的模型框架和实现过程;深入了解现有基于DNN的语音增强方法及其模型框架、训练方法和优化策略,总结分析对比得出各类方法的优缺点,为下一步的研究奠定理论基础。其次,提出了一种基于DNN的语音增强模型。该模型使用对数功率谱作为特征,并将DNN的训练分为两步,分别是基于受限玻尔兹曼机的无监督预训练和基于反向错误传播算法的有监督调优。在增强阶段,提取带噪语音的对数功率谱特征,并将其送到己经提前训练好的DNN模型中进行解码,从而获得对干净语音的LPS的估计。通过对比实验证明,本文提出的模型在Seg SNR、LSD、PESQ和STOI等方面均能取得比传统无监督方法更好的结果,不仅能够有效解决“音乐噪声”、减轻语音丢失等问题,同时也能显著提升语音的听感和可懂度。最后,对上述提出的模型进行改进,研究了联合VAD-DNN语音增强模型。在已有的模型基础上引入了语音端点检测算法(Voice Activity Detection,VAD)处理原始训练数据,得到两个对处理噪声和保留语音各具优势的语音增强模型,而后通过VAD模型融合两个具有不同处理优势的语音增强模型,得到一个新的VAD-DNN语音增强模型。通过实验对比,相比于DNN语音增强模型,改进的联合VAD的DNN语音增强模型在低信噪比环境下显著提升了LSD、PESQ和STOI等指标,验证了该模型的性能。综上所述,本文的创新点主要是基于深度神经网络提出了一个语音增强模型,不同于以往的传统单通道语音增强方法,本文提出的模型基本上没有任何假设,能够有效解决“音乐噪声”、减轻语音丢失等问题,显著提升语音的听感和可懂度,获得比传统方法更好的性能。同时在为了获得更好的性能对此前提出的模型进行了改进,改进的联合VAD的DNN语音增强模型则在训练数据和模型融合方面进行改进,该模型很好的解决了低信噪比环境下语音增强性能不强以及对不平稳噪声的处理能力较差的问题。