收藏本站
《中国科学技术大学》 2016年
收藏 | 手机打开
二维码
手机客户端打开本文

基于深层神经网络的口语发音检测与错误分析

胡文凭  
【摘要】:随着全球经济的飞速发展,不同国家之间在政治、经济、文化、教育等各个方面的交流与合作越发频繁。越多的人开始学习除母语之外的另外一种语言。掌握一门交流语言,口语学习至关重要。高效的口语学习需要师生之间一对一、面对面的互动交流。然而,这种方式却受到时空和经济条件的限制。近些年来,随着科学技术的发展,在线教育越来越受欢迎,以云为核心的强大计算资源,高度普及的移动智能设备以及飞速发展的语音处理技术,这些有利条件使得计算机辅助语言学习系统(CALL)越来越受到人们的亲睐。然而,音素层面发音错误的检测与诊断,作为CALL系统的一个核心模块,其准确度依然有待进一步提高。近年来,深度学习,作为一种新的机器学习方法,在人工智能的各个领域都得到了广泛的应用和成功。在这一背景下,本文也着手探索深度神经网络(DNN)框架下更高效的发音错误检测算法。本文先针对口语学习的特殊性,改善原始的声学模型,然后从后验概率计算、假设检验模型和有监督学习分类三个不同的角度研究发音错误检测算法,拓展与改善传统的方法,提出了DNN框架下的新方法。首先,本文在语音识别声学模型的基础上,引入基频曲线特征,增强了CALL系统对中文声调和英文单词重读的判别能力。除语音识别的单词或汉字准确率外,CALL系统还关注对重读或声调的判别能力。基频曲线是其最主要的声学信号。然而,和谱特征不同,基频曲线是非连续的,清音段发声时声带不振动,没有基频值。基频曲线的非连续特性在传统的GMM-HMM系统中甚难直接处理,常用方法是在清音段做插值处理,再将其以连续信号进行建模。鉴于DNN对输入特征的类型和先验分布没有潜在的假设和要求,本文探讨了DNN框架下基频特征更为简洁的非插值处理方式,研究了DNN-HMM系统中各种基频相关特征以及插值和非插值两种嵌入方法对中文声调和音节识别结果的影响。实验发现基频的一阶和二阶梯度是影响声调识别的最主要因素,而清音段的插值或非插值方法对声调和音节的识别影响不大。但非插值处理方法简省了前端的插值处理过程。其次,本文将传统的发音质量评估(GOP)算法拓展至DNN的发音错误检测系统中,并简化计算过程,大幅度提高了口语错误检测的准确率。针对用户的非标准发音与标准发音模型之间的不一致,本文引入基于KL散度正则化的DNN自适应技术对声学模型进行自适应。针对传统GOP计算框架中,当前音素的发音错误会影响其相邻音素的GOP计算这一观测,进一步改善GOP的计算方法。在一个大规模的外国人学中文数据库中的实验结果表明,DNN的自适应技术和修正后的GOP能显著地提高音素层面发音错误检测与诊断的准确率。再次,本文提出一种基于语音学空间和KL散度距离度量的发音错误检测算法。语音学空间的基本元素为senone,其后验概率由DNN从声学特征中经区分性学习获得。DNN的区分性学习过程规整了不同说话人、传输信道、录音环境等外界噪声的干扰。因此,相对于声学特征空间,语音学空间更适宜发音错误的检测。另外,senone是非常小的语音单元,是描述语音学特性的基本元素,可更精确、全面地描述各个音素在不同上下文中的发音错误形式。鉴于此,本文提出在语音学空间中,显式地构造各个senone正确和错误发音的统计模型。将错误检测问题转化为了语音学空间中点的距离度量问题。另外,为了进一步提高语音学空间中各个senone间的区分性,本文还提出一种基于语音学特征和KL散度量度的隐状态聚类算法,获得新的决策树、senone集以及声学模型。新的声学模型也进一步提高了发音错误检测的准确率。最后,考虑到某些音素样本不足,无法独自构建一个鲁棒的分类器,本文提出一种新的基于神经网络多任务学习的高效分类器。将各个音素的所有二分类器嵌入到同一个神经网络模型中,通过共享底层神经网络,样本量不足的音素分类器可以借鉴其他分类器学习到的高层特征表达,从而改善分类器的性能。本文采用二项逻辑回归模型作为基本二分类器,其底层共享的网络为普通的前馈神经网络。我们在一个英文和中文语言学习数据库上分别验证了基于共同学习分类器在发音错误检测方面的系统性能。
【学位授予单位】:中国科学技术大学
【学位级别】:博士
【学位授予年份】:2016
【分类号】:TN912.3;TP183

【相似文献】
中国期刊全文数据库 前10条
1 云中客;新的神经网络来自于仿生学[J];物理;2001年10期
2 唐春明,高协平;进化神经网络的研究进展[J];系统工程与电子技术;2001年10期
3 李智;一种基于神经网络的煤炭调运优化方法[J];长沙铁道学院学报;2003年02期
4 程科,王士同,杨静宇;新型模糊形态神经网络及其应用研究[J];计算机工程与应用;2004年21期
5 王凡,孟立凡;关于使用神经网络推定操作者疲劳的研究[J];人类工效学;2004年03期
6 周丽晖;从统计角度看神经网络[J];统计教育;2005年06期
7 赵奇 ,刘开第 ,庞彦军;灰色补偿神经网络及其应用研究[J];微计算机信息;2005年14期
8 袁婷;;神经网络在股票市场预测中的应用[J];软件导刊;2006年05期
9 尚晋;杨有;;从神经网络的过去谈科学发展观[J];重庆三峡学院学报;2006年03期
10 杨钟瑾;;神经网络的过去、现在和将来[J];青年探索;2006年04期
中国重要会议论文全文数据库 前10条
1 徐春玉;;基于泛集的神经网络的混沌性[A];1996中国控制与决策学术年会论文集[C];1996年
2 周树德;王岩;孙增圻;孙富春;;量子神经网络[A];2003年中国智能自动化会议论文集(上册)[C];2003年
3 罗山;张琳;范文新;;基于神经网络和简单规划的识别融合算法[A];2009系统仿真技术及其应用学术会议论文集[C];2009年
4 郭爱克;马尽文;丁康;;序言(二)[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
5 钟义信;;知识论:神经网络的新机遇——纪念中国神经网络10周年[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
6 许进;保铮;;神经网络与图论[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
7 金龙;朱诗武;赵成志;陈宁;;数值预报产品的神经网络释用预报应用[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
8 田金亭;;神经网络在中学生创造力评估中的应用[A];第十二届全国心理学学术大会论文摘要集[C];2009年
9 唐墨;王科俊;;自发展神经网络的混沌特性研究[A];2009年中国智能自动化会议论文集(第七分册)[南京理工大学学报(增刊)][C];2009年
10 张广远;万强;曹海源;田方涛;;基于遗传算法优化神经网络的故障诊断方法研究[A];第十二届全国设备故障诊断学术会议论文集[C];2010年
中国重要报纸全文数据库 前10条
1 美国明尼苏达大学社会学博士 密西西比州立大学国家战略规划与分析研究中心资深助理研究员 陈心想;维护好创新的“神经网络硬件”[N];中国教师报;2014年
2 卢业忠;脑控电脑 惊世骇俗[N];计算机世界;2001年
3 葛一鸣 路边文;人工神经网络将大显身手[N];中国纺织报;2003年
4 中国科技大学计算机系 邢方亮;神经网络挑战人类大脑[N];计算机世界;2003年
5 记者 孙刚;“神经网络”:打开复杂工艺“黑箱”[N];解放日报;2007年
6 本报记者 刘霞;美用DNA制造出首个人造神经网络[N];科技日报;2011年
7 健康时报特约记者  张献怀;干细胞移植:修复受损的神经网络[N];健康时报;2006年
8 刘力;我半导体神经网络技术及应用研究达国际先进水平[N];中国电子报;2001年
9 ;神经网络和模糊逻辑[N];世界金属导报;2002年
10 邹丽梅 陈耀群;江苏科大神经网络应用研究通过鉴定[N];中国船舶报;2006年
中国博士学位论文全文数据库 前10条
1 杨旭华;神经网络及其在控制中的应用研究[D];浙江大学;2004年
2 李素芳;基于神经网络的无线通信算法研究[D];山东大学;2015年
3 石艳超;忆阻神经网络的混沌性及几类时滞神经网络的同步研究[D];电子科技大学;2014年
4 王新迎;基于随机映射神经网络的多元时间序列预测方法研究[D];大连理工大学;2015年
5 付爱民;极速学习机的训练残差、稳定性及泛化能力研究[D];中国农业大学;2015年
6 李辉;基于粒计算的神经网络及集成方法研究[D];中国矿业大学;2015年
7 王卫苹;复杂网络几类同步控制策略研究及稳定性分析[D];北京邮电大学;2015年
8 张海军;基于云计算的神经网络并行实现及其学习方法研究[D];华南理工大学;2015年
9 李艳晴;风速时间序列预测算法研究[D];北京科技大学;2016年
10 陈辉;多维超精密定位系统建模与控制关键技术研究[D];东南大学;2015年
中国硕士学位论文全文数据库 前10条
1 章颖;混合不确定性模块化神经网络与高校效益预测的研究[D];华南理工大学;2015年
2 贾文静;基于改进型神经网络的风力发电系统预测及控制研究[D];燕山大学;2015年
3 李慧芳;基于忆阻器的涡卷混沌系统及其电路仿真[D];西南大学;2015年
4 陈彦至;神经网络降维算法研究与应用[D];华南理工大学;2015年
5 董哲康;基于忆阻器的组合电路及神经网络研究[D];西南大学;2015年
6 武创举;基于神经网络的遥感图像分类研究[D];昆明理工大学;2015年
7 李志杰;基于神经网络的上证指数预测研究[D];华南理工大学;2015年
8 陈少吉;基于神经网络血压预测研究与系统实现[D];华南理工大学;2015年
9 张韬;几类时滞神经网络稳定性分析[D];渤海大学;2015年
10 邵雪莹;几类时滞不确定神经网络的稳定性分析[D];渤海大学;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026