收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于深层神经网络的语音增强方法研究

徐勇  
【摘要】:语音增强是语音信号处理研究领域的一个重要分支。在过去的几十年中,有很多无监督的语音增强方法被提出,它们主要是通过先估计噪声的谱信息,然后从带噪语谱中将估计的噪声谱减掉以得到对干净语音谱的预测。但是由于噪声的随机性和突变性,使得对噪声的跟踪和估计变得困难。同时在传统的语音增强方法中,考虑到噪声和语音间的相互作用关系很复杂,就需要一些对信号间的独立性假设以及对特征分布的高斯性假设,而这些假设通常是不合理的。首先,传统的语音增强方法会残留很多噪声,甚至是音乐噪声。其次,语音的细节也在较大程度上受到破坏,这主要体现在对低信噪比语音的增强中。再者,极端非平稳噪声一直是传统语音增强方法中比较棘手的地方,因为非平稳噪声的突发性,使得它始终处于被欠估计状态,难以从带噪语音中去掉,可实际声学环境中,各种非平稳噪声又是大概率发生事件。最后,传统的语音增强方法易引入一些非线性失真,使得其对后端的语音识别或语音编码产生不良影响。 近年来,随着深层神经网络(Deep Neural Network, DNN)在语音识别领域的成功应用,给了语音增强任务的研究人员很多启发。DNN的深层非线性结构可以被设计成一个精细的降噪滤波器。同时基于大数据训练,DNN可以充分学习带噪语音和干净语音之间的复杂的非线性关系。另外DNN的训练是离线学习的,如同人一样,它能记住一些噪声的模式,因而可以很好地抑制一些非平稳噪声。而在本论文中,我们提出一种几乎无任何假设的基于DNN的语音增强方法,并针对实际环境中语音增强问题展开了一系列系统性的研究。 首先我们提出了基于DNN的语音增强方法框架,对数功率谱被用作训练DNN模型的特征。DNN则作为映射函数,可以从带噪语音中预测出干净语音。而DNN的训练是分两步进行的,即预训练和有监督训练。预训练是基于受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)的逐层贪婪式初始化,它可以防止DNN陷入局部最优。而有监督调优可以精准地学习带噪语音和干净语音之间的非线性关系。 其次,DNN是一种有监督的学习模型,凡是有监督的模型都存在如何应对测试集不匹配问题,也即如何提升系统的泛化能力。上百种类型的噪声数据被用来构建大规模训练数据,以此提高DNN模型对未见的测试噪声环境的适应性。同时我们发现,通过此种方法,系统对非平稳噪声有非常强的抑制能力。噪声告知训练也可以进一步地增强模型对测试噪声环境的预见能力。而丢弃(Dropout)法可以防止训练出现过拟合现象。另外,我们还针对DNN作为回归模型出现的过平滑问题,提出了全局方差均衡方法以提升增强的语音的听感。 再者,对测试中的不匹配带噪语音需要做自适应,这个不匹配主要有:能量不匹配,噪声环境不匹配和语言不匹配等方面。因此我们分别在特征层面,提出了均值移位方法,来解决测试语音的特征分布不一致的问题。而对于噪声类型不匹配问题,我们提出了一种动态的噪声告知训练方法,即先用IBM动态地估计每一帧的噪声,然后用来辅助DNN的学习。语言不匹配问题,主要存在于跨语种测试的时候,由于不同语系发音上的差异性导致的丢音问题。我们提出了通过转移学习的方法,来自适应地解决这个问题。 最后,对数功率谱上的最小均方误差是训练DNN的目标函数,但是直接去优化这个目标函数有一定困难的。我们提出了一种间接的目标函数优化方式。考虑到对数功率谱域上的各个维度间是相互独立的,因此我们把梅尔倒频谱参数(Mel Frequency Cepstrum Coefficient, MFCC)融合到系统中来,让DNN去联合优化对数功率谱特征和MFCC特征。利用MFCC的每个参数都包含了频率各个维度间的相关性来限制对对数功率谱的估计,以得到一个在频率各个维度上误差更具有一致性的特征预测。除了MFCC这种连续性信息,我们还可以用一些具有分类特性的元信息来作为对对数功率谱预测的辅助项,比如IBM,它显式地表征了当前时间频率单元是噪声主导的还是语音主导的。另外,经过聚类的噪声编码也用来辅助DNN对对数功率谱特征的学习。 在本论文的最后,我们给出了全文总结,并对该课题的未来进行了展望。


知网文化
【相似文献】
中国期刊全文数据库 前13条
1 田源;陈文臣;;深度神经网络在语音增强的两种模型中的研究与比较[J];信息技术与信息化;2020年11期
2 刘鹏;;基于混合深度神经网络的语音增强方法研究[J];智能计算机与应用;2019年06期
3 肖业鸣;张晴晴;宋黎明;潘接林;颜永红;;深度神经网络技术在汉语语音识别声学建模中的优化策略[J];重庆邮电大学学报(自然科学版);2014年03期
4 王光艳;李玥玲;王新刚;;基于Python的深度学习BP网络语音增强方法研究[J];信息通信;2019年03期
5 邓楚实;;深层神经网络在未来审计中应用场景展望[J];合作经济与科技;2021年12期
6 谢仁礼;秦宇;罗雪倩;;一种密集卷积神经网络的电视语音响度补偿方法[J];电声技术;2021年06期
7 李晓峰;李东;王妍玮;;面向医疗系统的多样性数据深层神经网络推荐算法[J];沈阳大学学报(自然科学版);2020年03期
8 朱江;胡华全;范雯琦;;基于深度神经网络的高光谱遥感影像分类方法研究[J];装备学院学报;2017年03期
9 汤伟;王权;;改进的深度卷积神经网络对T波分类的应用[J];中国科技论文;2020年07期
10 周自强;姜久超;;基于深度神经网络的不常用备件需求预测研究[J];河北水利电力学院学报;2021年04期
11 李昂;纪瑾;邓雅心;;基于GA-BP神经网络的电网暂稳极限切除时间预测[J];电气开关;2021年06期
12 蒋薇;刘芸芸;陈鹏;张志薇;;利用深度神经网络和先兆信号的江苏夏季降水客观预测方法[J];气象学报;2021年06期
13 董睿;俞竹青;晁令锦;;基于神经网络的雷达天线稳定平台控制设计[J];自动化与仪表;2021年12期
中国重要会议论文全文数据库 前20条
1 李涛;刘朋;胡志宽;田宏业;;基于HHT时频图像和卷积神经网络的滚动轴承故障诊断[A];第十八届船舶水下噪声学术讨论会论文集[C];2021年
2 高宇航;张超;李兵;商德江;王一宇;;基于LM-BP神经网络的水下结构振动噪声预报[A];第十八届船舶水下噪声学术讨论会论文集[C];2021年
3 刘宝;张言新;;基于生物调节机制的神经网络预估解耦控制算法研究及应用[A];第32届中国过程控制会议(CPCC2021)论文集[C];2021年
4 逯峰;彭继国;张波;;循环神经网络在煤矿中的应用[A];煤矿自动化与信息化--第29届全国煤矿自动化与信息化学术会议暨第10届中国煤矿信息化与自动化高层论坛论文集[C];2020年
5 李强;张悦娇;;神经网络的自适应有限时间容错同步控制[A];“两化”教学模式在应用型大学人才培养中的探究和实践专题论文集[C];2021年
6 罗朝林;陈武奋;张波;梁啟斌;;基于小波优化神经网络在大坝变形预测的应用[A];水库大坝和水电站建设与运行管理新进展[C];2022年
7 张星;关悦;党鑫鑫;胡波;;基于遗传算法-长短期记忆神经网络的月降水量预测研究[A];2021年(第七届)全国大学生统计建模大赛获奖论文集(二)[C];2021年
8 张玺森;宋浏阳;郭旭东;王华庆;;基于域融合健康指标和时间卷积神经网络的轴承退化趋势预测方法[A];第十四届全国振动理论及应用学术会议(NVTA2021)摘要集[C];2021年
9 张俊豪;赵晋锋;刘力源;;基于卷积神经网络的探地雷达隧道衬砌检测[A];2021年工业建筑学术交流会论文集[C];2021年
10 徐兴;赵倩婷;王苏宁;余绍康;;基于神经网络的自适应飞机防滑刹车控制器[A];第十八届中国航空测控技术年会论文集[C];2021年
11 宋尚焕;朱伟;;基于卷积神经网络的水声目标杂波分类[A];2021年浙黑苏鲁沪渝四省二市声学技术学术会议论文集[C];2021年
12 刘华玲;何轶辉;;LSTM的季节性修正及在股票指数预测中的应用[A];第十六届(2021)中国管理学年会论文集[C];2021年
13 赵勇;任山山;Jürgen Kurths;;不同尺度耦合竞争忆阻BAM神经网络的同步[A];第十八届全国非线性振动暨第十五届全国非线性动力学和运动稳定性学术会议(NVND2021)摘要集[C];2021年
14 宋赫男;单小彪;王广炎;樊继壮;;基于NARX神经网络的悬臂结构识别与振动主动控制研究[A];第十八届全国非线性振动暨第十五届全国非线性动力学和运动稳定性学术会议(NVND2021)摘要集[C];2021年
15 赵猛;马新娜;祁琳;;基于卷积脉冲神经网络的滚动轴承故障诊断方法研究[A];第十八届全国非线性振动暨第十五届全国非线性动力学和运动稳定性学术会议(NVND2021)摘要集[C];2021年
16 张鑫;徐佳文;严如强;;基于压电阻抗的非线性结构故障诊断方法研究[A];第十八届全国非线性振动暨第十五届全国非线性动力学和运动稳定性学术会议(NVND2021)摘要集[C];2021年
17 谢正荣;艾轶博;张卫冬;;高阶间接积分法的深度循环神经网络架构[A];2021中国自动化大会论文集[C];2021年
18 陈军屹;赵桂林;郑冠男;聂雪媛;;基于PINN神经网络的航母气流场模型的构建初探[A];第五届非定常空气动力学学术会议论文集[C];2021年
19 赵奥博;郑冠男;陈军屹;宋鑫;郝占宙;吕召阳;;基于PINN神经网络的圆柱绕流部分流场的构建[A];第五届非定常空气动力学学术会议论文集[C];2021年
20 蒋子超;江俊扬;姚清河;杨耿超;;基于神经网络的差分方程快速求解方法[A];第十一届全国流体力学学术会议论文摘要集[C];2020年
中国博士学位论文全文数据库 前20条
1 徐勇;基于深层神经网络的语音增强方法研究[D];中国科学技术大学;2015年
2 赵俊红;神经网络的正则化及在地质预测中的应用研究[D];大连理工大学;2020年
3 纪厚业;异质图神经网络关键技术研究[D];北京邮电大学;2021年
4 姚卫;时滞忆阻神经网络的同步与多稳定性研究[D];湖南大学;2020年
5 肖理业;基于机器学习的电磁场建模与设计研究[D];电子科技大学;2019年
6 陈涵瀛;核电站热工水力系统工况预测与诊断方法研究[D];哈尔滨工程大学;2018年
7 梁智杰;聋哑人手语识别关键技术研究[D];华中师范大学;2019年
8 刘昂;微结构硅基光子学器件性能的研究[D];南京大学;2019年
9 赵博雅;基于卷积神经网络的硬件加速器设计及实现研究[D];哈尔滨工业大学;2018年
10 杜昌顺;面向细分领域的舆情情感分析关键技术研究[D];北京交通大学;2019年
11 陈科海;机器翻译上下文表示方法研究[D];哈尔滨工业大学;2019年
12 饶红霞;信息受限下神经网络的状态估计和拟同步研究[D];广东工业大学;2019年
13 张马路;Spiking机器学习算法研究[D];电子科技大学;2019年
14 付钱华;忆阻神经网络的动力学研究[D];电子科技大学;2019年
15 毛瑞琛;深度神经网络下的规范化地址建设与语义空间模型研究[D];浙江大学;2019年
16 武晨;DFP航天器动力学特性分析及精确控制方法研究[D];哈尔滨工业大学;2018年
17 杨旭辉;基于神经网络的C-ADS InjectorⅡ束流偏移校准技术研究[D];兰州大学;2019年
18 樊英杰;时滞忆阻神经网络的镇定及同步控制研究[D];山东科技大学;2019年
19 冉令燕;基于卷积神经网络的图像分类研究[D];西北工业大学;2018年
20 于佳;语音文档的故事分割技术研究[D];西北工业大学;2018年
中国硕士学位论文全文数据库 前20条
1 任相赢;基于深层神经网络的语音增强算法研究[D];天津大学;2018年
2 张馨;基于深度神经网络的语音增强算法研究[D];哈尔滨工业大学;2019年
3 李威勇;基于深层神经网络的单通道语音增强算法研究[D];广州大学;2020年
4 张宇飞;基于深度神经网络和循环神经网络的语音增强方法研究[D];中国工程物理研究院;2020年
5 李楠;基于深度神经网络的语音增强方法研究[D];东南大学;2019年
6 赵兴敏;随机赋权神经网络的泛化能力研究[D];深圳大学;2017年
7 刘浩;基于深度学习神经网络的语音增强方法研究[D];西安电子科技大学;2017年
8 娄迎曦;基于并行优化循环神经网络的语音增强方法研究[D];山东理工大学;2021年
9 王卫梅;基于稀疏表示和深度神经网络的语音增强研究[D];太原理工大学;2020年
10 李玲燕;基于优化神经网络的上市公司财务危机预警研究[D];上海工程技术大学;2017年
11 陈柯;基于机器视觉技术的动态行人监测系统研究[D];上海工程技术大学;2016年
12 何洪坤;真空冷冻干燥技术的智能控制研究[D];上海工程技术大学;2016年
13 阙禄颖;基于轻量级神经网络的行人检测技术研究[D];电子科技大学;2021年
14 张宸鹏;回复式神经网络若干关键问题研究[D];电子科技大学;2021年
15 田野;多精度神经网络加速阵列研究[D];电子科技大学;2021年
16 黄茗;利用深度学习预测股票涨跌:A+H股实证分析[D];山东大学;2018年
17 魏晓玲;基于多特征提取与卷积神经网络的房颤检测算法研究[D];河北大学;2017年
18 郑晓康;面向汉英专利文献的神经网络翻译模型的集外词翻译研究[D];北京交通大学;2017年
19 吴浪;基于多源遥感数据的中国大陆地区PM_(2.5)反演及其与城市化关系研究[D];西南大学;2019年
20 谢仁义;饱和脉冲Cohen-Grossberg神经网络稳定性分析[D];西南大学;2020年
中国重要报纸全文数据库 前20条
1 记者 张梦然;神经网络打开理解电子相互作用新窗口[N];科技日报;2021年
2 记者 董映璧;神经网络技术检测玻璃钢缺陷精度高[N];科技日报;2020年
3 湖北日报全媒记者 张爱虎 通讯员 徐向军 实习生 于蓝;一群“90后”率先建成铁路“神经网络”[N];湖北日报;2019年
4 记者 刘霞;忆阻器制成神经网络更高效[N];科技日报;2017年
5 整理 本报记者 诸玲珍 顾鸿儒;微软神经网络切割法可使加速作用超线性[N];中国电子报;2018年
6 ;神经网络小史[N];电子报;2018年
7 ;人工智能将取得大面积突破[N];中国企业报;2017年
8 本报记者 龚丹韵;人机大战:人类还有优势吗[N];解放日报;2017年
9 ;人类正迎来云端机器人时代[N];中国企业报;2017年
10 记者 邱智丽;AI竞赛 中国力量崛起[N];第一财经日报;2017年
11 记者 刘霞;新神经网络使计算机像人一样推理[N];科技日报;2017年
12 本报记者 喻思娈;人工智能有多智能?[N];人民日报;2017年
13 记者 王雪青;构建机器世界神经网络 东土科技“抄底”人工智能[N];上海证券报;2017年
14 ;人工智能到底有多智能?[N];长白山日报;2017年
15 本报记者 刘霞;美用DNA制造出首个人造神经网络[N];科技日报;2011年
16 记者 冯海波 通讯员 华轩;构建叠层宽度神经网络成深度模型[N];广东科技报;2021年
17 记者 毛黎;神经网络技术帮自主驾驶汽车识别幻影物体[N];科技日报;2020年
18 记者 孙刚;“神经网络”:打开复杂工艺“黑箱”[N];解放日报;2007年
19 本报首席记者 任荃 实习生 史博臻;轨交“神经网络”触动创新神经[N];文汇报;2011年
20 记者 张梦然;神经网络完成芯片设计仅需几小时[N];科技日报;2021年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978