收藏本站
《中国科学技术大学》 2007年
收藏 | 手机打开
二维码
手机客户端打开本文

汉语语音情绪识别

张盛  
【摘要】: 本论文的主要研究内容是汉语语音情绪识别,即从语音信号中识别说话人当时所处的情绪状态。虽然许多研究者已经在研究解决这个问题的可能性,并取得了一些成果,但至今仍没有统一的定论,尤其是汉语方面的研究还很少。因此,本文的研究涵盖整个汉语语音情绪识别:从汉语情绪语音的采集,到情绪语音信号特征分析,再到情绪语音信号特征提取和选择,最后到语音情绪识别分类方法。论文中所研究的情绪为四种最基本的情绪状态:愤怒,恐惧,高兴和悲伤;另取中立表征没有情绪时的状态。 汉语情绪语音采集方面:在分析当前国际上一些情绪语音库的基础上,独立设计文本,确定录音人数和语音种类(自然、模仿、诱出)。通过对采集的情绪语音数据进行听辨实验,最后建立汉语语音情绪数据库。 情绪语音声学特征分析方面:分析了愤怒、恐惧、高兴和悲伤四种情绪相对于中立状态的声学特征(持续时间方面,短时能量方面和基音方面)。同以往的研究不同,本文不仅对语句层面的特征进行分析,而且着重于语句中字层面上的特征分析。在此基础上,特别进行了不同情绪对汉语重音的影响分析。最后给出不同情绪在声学特征上的区分特点。 情绪语音特征提取及选择方面:首先提取了208个包括基音、短时能量、短时幅值、信号振幅和持续时间方面的特征。对于这208个数目众多,存在冗余且不便分析的特征,进行两两情绪之间的分析,取代总体分析。根据分析结果,选择出以后研究需要的特征共28个,为以后的研究打下基础。 语音情绪识别分类方法方面:传统的语音情绪识别方法是利用统一的分类模型来区分所有的情绪。然而,两两情绪之间的特征分析却表明不同的特征对区分不同的情绪具有特殊的能力。因此,基于决策树理论,本文首次提出了一种有效的语音情绪识别过程——连续两分过程,将统一的分类变成一系列连续二叉分类过程,这样在每一步分类过程中都建立自己的最优分类模型。连续两分过程的建立是根据不同特征的不同区分能力,在识别中能够充分的利用所提取的语音情绪特征,从而得到较好的识别效果,正如实际情绪语音数据实验所表明的一样。 为了更好的提高识别效果,需要提取出更多的具有区分性能的特征。因此,考虑到以上分析仅限于时域上的声学特征,此部分着重于临界频带上特征分析。在此基础上,提出了具有区分不同情绪能力的两种特征类型。在充分验证可行性后,将临界频带信息融合到连续两分过程中,通过实际情绪语音数据的实验验证,结果分析显示了融合临界频带信息的连续两分过程的优点。 连续两分过程中决策树结构导致累计误差传递,使得最后进行分类的情绪“愤怒”和“高兴”的识别率较差。针对这个缺点,本文首次提出了基于模糊理论的连续两分过程,将模糊理论不仅应用到每一步的分类模型中,而且应用的整个分类过程中。通过实验验证,结果分析显示其优点。 针对连续两分过程中建立每一步最优模型的问题,提出了一种基于Boosting算法的连续两分过程。Boosting算法在训练过程中针对困难样本进行了加强训练,能够得到较优的分类模型。通过实验验证显示其优点。
【学位授予单位】:中国科学技术大学
【学位级别】:博士
【学位授予年份】:2007
【分类号】:TN912.3

手机知网App
【引证文献】
中国博士学位论文全文数据库 前1条
1 姚霖霜;法律文书情绪语言的认知研究[D];华中师范大学;2012年
中国硕士学位论文全文数据库 前7条
1 王萍;语音情感识别研究[D];山东科技大学;2010年
2 蔡政策;VOIP声学回声消除归一化算法研究[D];合肥工业大学;2011年
3 王细燕;小学生情绪表情识别特点及其与情绪词掌握量的关系研究[D];江西师范大学;2011年
4 张莹;普通话的态度语音韵律研究[D];南京师范大学;2011年
5 刘艳;普通话的情感语音韵律分析[D];南京师范大学;2011年
6 林本敬;情感虚拟人技术在人机交互中的应用研究[D];北京化工大学;2009年
7 王譞;视听整合下对人吸引力知觉的研究[D];西北师范大学;2012年
【参考文献】
中国期刊全文数据库 前10条
1 陈小平,胡泽;听觉临界频带及其在声频信号处理中的应用[J];北京广播学院学报(自然科学版);2004年02期
2 张国英,沙芸,刘玉树;模式识别中基于Boosting的特征筛选[J];北京理工大学学报;2004年07期
3 韩纪庆;邵艳秋;;基于语音信号的情感处理研究进展[J];电声技术;2006年05期
4 林茂灿 ,颜景助 ,孙国华;北京话两字组正常重音的初步实验[J];方言;1984年01期
5 张颖,罗森林;情感建模与情感识别[J];计算机工程与应用;2003年33期
6 赵力,王治平,卢韦,邹采荣,吴镇扬;全局和时序结构特征并用的语音信号情感特征识别方法[J];自动化学报;2004年03期
7 蒋丹宁;蔡莲红;;基于语音声学特征的情感信息识别[J];清华大学学报(自然科学版);2006年01期
8 赵力,钱向民,邹采荣,吴镇扬;语音信号中的情感识别研究[J];软件学报;2001年07期
9 鲍怀翘;普通话语音生理和声学分析简介[J];听力学及言语疾病杂志;2004年03期
10 赵鹤鸣,朱祺,陈雪勤,俞一彪;临界频带子波变换用于混叠语音分离的研究[J];声学学报;2004年02期
【共引文献】
中国期刊全文数据库 前10条
1 潘希姣;;多子群粒子群集成神经网络[J];安徽建筑工业学院学报(自然科学版);2007年02期
2 左岩;浅析韵律研究中的几个概念[J];北京大学学报(外国语言文学专刊);1999年S1期
3 林正奎;唐焕玲;鲁明羽;王敬东;;基于特征多视图提升Naive Bayesian的Boosting改进算法[J];北京交通大学学报;2009年06期
4 张海;王尧;陈冰;胡荣祖;高红旭;赵凤起;;用Boosting算法预测多硝基芳香族化合物的密度[J];火炸药学报;2007年05期
5 张海;丁毅涛;王尧;胡荣祖;高红旭;赵凤起;;自适应梯度Boosting算法及多硝基芳香族化合物密度的主因子选择[J];火炸药学报;2011年02期
6 李文斌;刘椿年;钟宁;;基于两阶段集成学习的分类器集成[J];北京工业大学学报;2010年03期
7 韩一;王国胤;杨勇;;基于MFCC的语音情感识别[J];重庆邮电大学学报(自然科学版);2008年05期
8 冯哲;孙吉贵;张长胜;王岩;;汉语语音合成的研究进展[J];吉林大学学报(信息科学版);2007年02期
9 孙凤琪;;AdaBoost集成神经网络在冲击地压预报中的应用[J];吉林大学学报(信息科学版);2009年01期
10 卓丽霞;田佳;;基于C4.5算法的集成方法研究[J];重庆工学院学报;2006年11期
中国重要会议论文全文数据库 前10条
1 ;Predictive Control Based on Multi-network for a Deep Seabed Mining Robot Vehicle[A];中国自动化学会控制理论专业委员会A卷[C];2011年
2 周洁;;基于高斯混合模型的情感语音转换[A];2011'中国西部声学学术交流会论文集[C];2011年
3 李雅;卢颖超;许小颖;陶建华;;连续语流中韵律层级和调型组合对重音感知的影响[A];第十一届全国人机语音通讯学术会议论文集(一)[C];2011年
4 卢颖超;李雅;陶建华;许小颖;;连续语流中重音标注和大规模重音语料库建设[A];第十一届全国人机语音通讯学术会议论文集(一)[C];2011年
5 贾媛;;普通话同音异构两音组重音类型辨析[A];第十一届全国人机语音通讯学术会议论文集(一)[C];2011年
6 李雅;卢颖超;许小颖;陶建华;;连续语流中韵律层级和调型组合对重音感知的影响[A];第十一届全国人机语音通讯学术会议论文集(二)[C];2011年
7 卢颖超;李雅;陶建华;许小颖;;连续语流中重音标注和大规模重音语料库建设[A];第十一届全国人机语音通讯学术会议论文集(二)[C];2011年
8 贾媛;;普通话同音异构两音组重音类型辨析[A];第十一届全国人机语音通讯学术会议论文集(二)[C];2011年
9 杜晓凤;丁友东;;FloatBag选择性神经网络集成及其在人脸检测中的应用[A];第十二届全国信号处理学术年会(CCSP-2005)论文集[C];2005年
10 高莹莹;朱维彬;;基于新闻言语数据库的语气标注及其韵律特征分析[A];第九届中国语音学学术会议论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 于化龙;基于DNA微阵列数据的癌症分类技术研究[D];哈尔滨工程大学;2010年
2 李建平;面向异构数据源的网络安全态势感知模型与方法研究[D];哈尔滨工程大学;2010年
3 邬俊;基于交互式语义推理的图像检索算法研究[D];大连海事大学;2010年
4 于辉;汉语借词音系学[D];南开大学;2010年
5 李凤杰;汉英对比韵律系学中的若干问题[D];南开大学;2010年
6 单振宇;情感说话人识别及其解决方法的研究[D];浙江大学;2010年
7 甘良志;核学习算法与集成方法研究[D];浙江大学;2010年
8 杨国鹏;基于机器学习方法的高光谱影像分类研究[D];解放军信息工程大学;2010年
9 徐迪红;复杂背景下的交通标志检测和分类算法研究[D];武汉大学;2010年
10 顾全;基于集成智能的膜蛋白受体结构与功能研究[D];东华大学;2010年
中国硕士学位论文全文数据库 前10条
1 马冉冉;集成学习算法研究[D];山东科技大学;2010年
2 王萍;语音情感识别研究[D];山东科技大学;2010年
3 江达秀;基于HMAX模型的人脸表情识别研究[D];浙江理工大学;2010年
4 陈松峰;利用PCA和AdaBoost建立基于贝叶斯的组合分类器[D];郑州大学;2010年
5 曹彦;基于支持向量机的特征选择及其集成方法的研究[D];郑州大学;2010年
6 周驰;数据流上概念漂移的检测和分类[D];郑州大学;2010年
7 林天威;基于视频流的人脸识别系统研究[D];哈尔滨工程大学;2010年
8 杨帆;基于前景/背景分割和特征包算法的目标跟踪[D];大连理工大学;2010年
9 郭益汝;基于特征融合的人脸识别和表情识别[D];大连理工大学;2010年
10 秦仕伟;人脸检测与识别技术的研究与实现[D];大连理工大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 张先刚;;语言中态度的认知机理[J];安阳师范学院学报;2009年06期
2 王志良;人工心理学──关于更接近人脑工作模式的科学[J];北京科技大学学报;2000年05期
3 刘波;文军;;基于SIP的IP-PBX系统研究[J];成都信息工程学院学报;2005年06期
4 姚霖霜,阙紫江;成教学生在四种英语课堂活动中焦虑水平调查[J];重庆大学学报(社会科学版);2004年04期
5 马志友,杨莹春,吴朝晖;二次特征提取及其在说话人识别中的应用[J];电路与系统学报;2003年02期
6 林奕琳;韦岗;杨康才;;语音情感识别的研究进展[J];电路与系统学报;2007年01期
7 余伶俐;蔡自兴;陈明义;;语音信号的情感特征分析与识别研究综述[J];电路与系统学报;2007年04期
8 张石清;赵知劲;雷必成;杨广映;;结合音质特征和韵律特征的语音情感识别[J];电路与系统学报;2009年04期
9 王权海,李灿平,李梅娜;VOIP的相关技术——回声消除技术的研究[J];电脑与信息技术;2003年03期
10 薛宁;;SIP服务器设备技术要求介绍[J];电信网技术;2006年02期
中国重要会议论文全文数据库 前2条
1 初敏;;韵律研究与合成语音的自然度[A];新世纪的现代语音学——第五届全国现代语音学学术会议论文集[C];2001年
2 蒋丹宁;蔡莲红;;基于韵律特征的汉语情感语音分类[A];第一届中国情感计算及智能交互学术会议论文集[C];2003年
中国博士学位论文全文数据库 前10条
1 张宇;VoIP中若干关键技术的研究[D];浙江大学;2001年
2 周念丽;自闭症幼儿社会认知实验及干预绩效研究[D];华东师范大学;2003年
3 王振宏;青少年情感风格与攻击行为[D];首都师范大学;2005年
4 林奕琳;基于语音信号的情感识别研究[D];华南理工大学;2006年
5 谢波;普通话语音情感识别关键技术研究[D];浙江大学;2006年
6 董婧;鲁棒语音识别技术的研究[D];吉林大学;2007年
7 金学成;基于语音信号的情感识别研究[D];中国科学技术大学;2007年
8 尤鸣宇;语音情感识别的关键技术研究[D];浙江大学;2007年
9 马伟林;隐性评价与显性评价:语篇功能的评价研究[D];复旦大学;2009年
10 温建辉;率性犯罪罪过情感的证明[D];湘潭大学;2009年
中国硕士学位论文全文数据库 前10条
1 房林;吸引力对人模仿行为的影响研究[D];西南大学;2011年
2 葛吉艳;13至15岁青少年对愤怒表情觉察的研究[D];首都师范大学;2005年
3 郭鹏娟;语音情感特征提取方法和情感识别研究[D];西北工业大学;2007年
4 周洁;语音信号中情感信息的分析和处理研究[D];东南大学;2005年
5 芦涛;基于SVM的汉语语音情感识别的研究[D];燕山大学;2007年
6 陈迪;语音参数提取算法研究及系统实现[D];重庆大学;2007年
7 孙黉杰;语音情感计算的研究及应用[D];浙江工业大学;2007年
8 何天成;基于多权值神经网络的语音情感识别的研究[D];浙江工业大学;2007年
9 严淑琼;自闭症儿童面部表情加工的实验研究[D];华东师范大学;2008年
10 陈佳;语音信号情感识别[D];中南大学;2008年
【二级引证文献】
中国硕士学位论文全文数据库 前1条
1 张建峰;Flash电话客户端的设计与实现[D];西南交通大学;2012年
【二级参考文献】
中国期刊全文数据库 前8条
1 付强,易克初;语音信号的Bark子波变换及其在语音识别中的应用[J];电子学报;2000年10期
2 赵力,将春辉,邹采荣,吴镇扬;语音信号中的情感特征分析和识别的研究[J];电子学报;2004年04期
3 林茂灿 ,颜景助;北京话轻声的声学性质[J];方言;1980年03期
4 赵力,钱向民,邹采荣,吴镇扬;语音信号中的情感识别研究[J];软件学报;2001年07期
5 赵力,钱向民,邹采荣,吴镇扬;从语音信号中提取情感特征的研究[J];数据采集与处理;2000年01期
6 赵力,钱向民,邹采荣,吴镇扬;语音信号中的情感特征分析和识别的研究[J];通信学报;2000年10期
7 赵鹤鸣,周旭东,金延庆,翁桂荣;基于小波变换的重叠语音基频提取及声调识别[J];声学学报;1999年01期
8 徐世荣;双音节词的音量分析[J];语言教学与研究;1982年02期
【相似文献】
中国期刊全文数据库 前10条
1 祝宇虹;李青;王丽平;;语音情绪识别中的基音周期分析[J];机械与电子;2011年10期
2 ;[J];;年期
3 ;[J];;年期
4 ;[J];;年期
5 ;[J];;年期
6 ;[J];;年期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
中国重要会议论文全文数据库 前1条
1 张盛;程伯中;孔凡让;;连续两分KNN方法识别说话人的情绪[A];第八届全国人机语音通讯学术会议论文集[C];2005年
中国博士学位论文全文数据库 前1条
1 张盛;汉语语音情绪识别[D];中国科学技术大学;2007年
中国知网广告投放
相关机构
>中国科学技术大学
相关作者
>张盛
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026