收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于语音信号的情感识别研究

金学成  
【摘要】: 语音是人类交流的重要手段,是相互传递信息的最方便、最基本和最直接的途径。语音信号在传达语义信息的同时,还传递着情感信息,而情感在人们生活和交流中起着重要的角色。因此,随着人机交互技术的快速发展,语音信号中的情感信息正越来越受到研究人员的重视。作为语音信号情感信息处理的一个重要研究方向,语音情感识别是计算机理解人类情感的关键,是实现智能化人机交互的前提。但是,目前对于人类情感的研究还处于一个探索阶段,对情感的定义与表示至今没有一个统一的认识。加之情感具有较强的社会性和文化性,以及语音信号本身的复杂性,这些因素使得语音情感识别的研究面临着重重困难。应该说语音情感识别的研究还处于一个起步阶段,对于情感语音库、情感特征以及情感建模与识别方法等诸多方面的研究还有待深入。 本文以建立不依赖于话者和文本内容的语音情感识别系统为目标,对情感语音数据库、语音声学特征参数提取、情感特征分析与选取、情感维度空间、语音情感建模与识别等问题进行了深入探讨与研究。在对大量情感语料进行分析的基础上,提出了两种语音情感建模方法,为语音情感识别提供了一个理论和技术上的框架,为实现自然的人机交互奠定了一定的基础。借助于这两种情感模型,本文开发了两种语音情感识别算法,构建了不依赖于话者和文本内容的汉语语音情感识别系统。 本文的创新点和主要贡献如下: (1)从语音情感特征提取的需求出发,提出了一种基于修正倒谱和动态规划技术的基频估计算法。该算法根据倒谱、短时能量和短时过零率在清音段和浊音段的不同表现,构造了一个清浊音判决函数,据此可简化清浊音判决过程,并大大提高清浊音判决精度。为了得到合乎实际的、具有平滑轨迹的基频估计,利用动态规划技术进行基频跟踪。由于充分考虑了基频连续性的影响,该算法能够有效地避免倍频和半频错误,具有准确率高、基频轨迹平滑等优点。 (2)对韵律和声道共振峰等语音声学特征与情感状态之间的关系进行了深入细致的定性/定量分析,得出了一些具有重要指导意义的结论。通过分析发现,短时能量虽然对于区分情感状态有一定的帮助,但存在明显不足;但是信号能量在不同频段上的分布对于区分情感状态具有重要意义,其中,250Hz以下能量占全部能量的比例是区分情感状态的一个重要特征。本文还对基频轮廓及基频轨迹导数等特征与情感状态之间的关系进行了分析。在分析过程中我们发现,男性和女性在语音情感特征参数的分布上存在着较大的差异。据此本文提出了一种以基频均值、范围和方差为特征、采用Fisher线性判别函数的性别判别方法。实验结果表明,通过训练,该方法可取得非常高的正确判别率。 (3)提出了一个三维情感空间模型构想,通过听辨实验确定了几种基本情感在情感空间中的位置,并定量分析了语音信号的韵律特征和音质特征与不同情感维度之间的相关性。 (4)从情感建模的角度出发,根据情感具有连续性和离散性的双重特点,将数据场的概念引入情感建模,提出了情感场和情感势的概念,并对势函数的计算方法提出了改进措施。通过势函数寻优确定各类基本情感中心在情感空间中的位置,从而把情感空间中任何一点的情感看成是由几种基本情感复合而成,每种基本情感对该点的贡献由基本情感中心在该点处的情感势决定,情感势的大小决定了该点处情感属于某种基本情感的程度。本文基于这一思想开发了一种基于情感场的汉语语音情感识别方法,获得了优于传统语音情感识别方法的识别率。 (5)根据语音韵律特征与情感唤醒度、音质特征与愉悦度之间的相关性,提出了一种基于情感维度的情感建模方法。该方法利用韵律特征和音质特征分别为每种情感构建唤醒度和愉悦度概率模型,然后将每个情感语音样本在12个维度模型上的概率输出作为特征训练情感类别模型。本文利用高斯混合模型(Gaussian Mixture Model,GMM)构建情感维度模型,并提出了一种基于对训练样本进行聚类分析的GMM初始参数估计方法。在最后识别时,选用了支持向量机(Surport Vecter Machine,SVM)来构造六类情感类别识别器。根据该情感维度模型,本文进行了汉语语音情感识别的相关实验,获得了优于情感场方法的识别率。 作为一种新的尝试,本文提出的两种语音情感建模方法具有一定的理论依据和较好的实用效果,为今后的语音情感建模与识别研究奠定了良好的基础。


知网文化
【相似文献】
中国期刊全文数据库 前18条
1 高洪云;;语音信号技术在船舶导航系统中的应用[J];舰船科学技术;2021年10期
2 宁继荣;;一种语音信号基音频率提取算法的研究及实现[J];中国新通信;2020年03期
3 王丁一;徐先峰;李诗然;;混合语音信号盲分离算法研究与应用[J];通信电源技术;2016年06期
4 石从红;;混响环境下语音信号优化识别仿真研究[J];计算机仿真;2017年02期
5 杨臻;;语音信号准确性识别仿真研究[J];计算机仿真;2017年02期
6 信明贵;陈亮;;堆取料机连锁信号和语音信号无线传输技术研究[J];中国冶金;2010年07期
7 石海燕;;基于短时能量的语音信号端点检测[J];电脑知识与技术;2008年18期
8 姚屏,申群太,王俊年;语音信号的谱熵检测在车辆通信中的应用[J];中南大学学报(自然科学版);2005年05期
9 陈洪财;语音信号的前反馈自适应量化[J];韩山师范学院学报;2004年03期
10 徐静波,于洪涛,冉崇森;重叠语音信号的高阶矩分离法[J];长江大学学报(自科版);2004年04期
11 蔡建,方勇,音春,徐洪伟;一种基于频谱特征的语音信号识别方法及硬件实现[J];电声技术;2003年07期
12 梁勇;用于评估语音设备性能的仿真会话式语音信号[J];广西通信技术;1994年02期
13 田岚,陆小珊;通用语音信号分析工作站[J];山东工业大学学报;1994年04期
14 周桑漪;刘田康;;语音信号分析和识别系统电路的设计[J];苏州大学学报(自然科学版);1986年01期
15 王迎庆;;噪声中的语音信号检测[J];微电子学与计算机;1988年01期
16 余华;章勤杰;赵力;;语音情感识别算法中新型参数研究[J];电子器件;2017年05期
17 张海龙;何小雨;李鹏;周美丽;;基于语音信号的情感识别技术研究[J];延安大学学报(自然科学版);2017年01期
18 孙端;;小波变换在语音信号降噪技术中的应用[J];信息通信;2017年03期
中国重要会议论文全文数据库 前20条
1 赵力;曾毓敏;邹采荣;吴镇扬;;基于子空间分析的语音信号寂声语声段识别方法[A];第十届全国信号处理学术年会(CCSP-2001)论文集[C];2001年
2 胡礼才;王朔中;;以数字语音信号为载体的动态比特位密写[A];第十二届全国信号处理学术年会(CCSP-2005)论文集[C];2005年
3 高仁璟;李传收;谭显松;;堆取料机连锁信号和语音信号无线传输技术研究[A];第六届全国信息获取与处理学术会议论文集(3)[C];2008年
4 杜安丽;王茜;余磊;孙洪;;基于小波树结构的语音信号压缩感知恢复算法[A];2010年通信理论与信号处理学术年会论文集[C];2010年
5 张云翼;崔杰;肖灵;;一种改进的语音信号去混响算法[A];泛在信息社会中的声学——中国声学学会2010年全国会员代表大会暨学术会议论文集[C];2010年
6 陈韬;莫福源;李昌立;;语音信号的自动分段方法研究[A];第三届全国人机语音通讯学术会议(NCMMSC1994)论文集[C];1994年
7 沙宗先;卢绪刚;秦兵;李吉民;;语音信号的混沌现象研究[A];第四届全国人机语音通讯学术会议(NCMMSC1996)论文集[C];1996年
8 沙宗先;秦兵;李吉民;刘寿民;;用仿射变换进行语音信号分形插值[A];第四届全国人机语音通讯学术会议(NCMMSC1996)论文集[C];1996年
9 沙宗先;韩俊涛;陈惠鹏;秦兵;;语音信号的混沌现象研究[A];第五届全国人机语音通讯学术会议(NCMMSC1998)论文集[C];1998年
10 刘佳;师硕;李锡杰;王旭;;语音信号的分析方法和应用[A];第八届全国人机语音通讯学术会议论文集[C];2005年
11 于水源;陈玉东;;语音信号非线性动力学特性与语音学特性之间的关系[A];中国声学学会2006年全国声学学术会议论文集[C];2006年
12 郭巧;张立伟;陆际联;;汉语语音信号的端点检测与切分[A];第九届全国信号处理学术年会(CCSP-99)论文集[C];1999年
13 王旭芳;张兆宁;李军;;语音信号端点检测阈值问题的研究[A];全国第二届信号处理与应用学术会议专刊[C];2008年
14 史晓非;黄耀倞;刘人杰;;一种语音信号分离的算法[A];中国航海学会船舶机电与通信导航专业委员会2002年学术年会论文集(通信导航分册)[C];2002年
15 吕苗荣;古德生;彭振斌;;语音信号基本处理单元的选择与应用[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集(上册)[C];2007年
16 王浩;宋巍;岳振军;;语音信号的傅立叶-贝赛尔展开及其特性初探[A];全国第一届嵌入式技术联合学术会议论文集[C];2006年
17 郑正;胡玥;潘翔;;低信噪比环境下基于麦克风线阵的语音信号增强算法研究[A];浙江省信号处理学会2015年学术年会论文集[C];2015年
18 沈亚强;程仲文;;基于卡尔曼滤波的语音增强方法[A];第二届全国人机语音通讯学术会议(NCMMSC1992)论文集[C];1992年
19 余凯;戴明扬;徐柏龄;方元;余崇智;;迭代维纳滤波用于含有竞争话者的混合语音信号分离[A];第九届全国信号处理学术年会(CCSP-99)论文集[C];1999年
20 要庆生;李钢虎;曾渊;赵亚楠;何会会;;最小方差无失真响应基础上的语音信号处理方法研究[A];2012'中国西部声学学术交流会论文集(Ⅱ)[C];2012年
中国博士学位论文全文数据库 前20条
1 金学成;基于语音信号的情感识别研究[D];中国科学技术大学;2007年
2 吕韬;远距离激光相干语音信号侦测技术研究[D];中国科学院大学(中国科学院长春光学精密机械与物理研究所);2019年
3 钱清;基于数字水印的语音内容认证算法研究[D];西南交通大学;2018年
4 薛丽芳;语音信号动态特征分析及其可视化的关键技术研究[D];东北大学 ;2010年
5 韩志艳;语音信号鲁棒特征提取及可视化技术研究[D];东北大学;2009年
6 林奕琳;基于语音信号的情感识别研究[D];华南理工大学;2006年
7 陈为国;实时语音信号处理系统理论和应用[D];浙江大学;2004年
8 赵正敏;语音非线性特性分析及其应用[D];南京大学;2014年
9 王海艳;基于统计模型的语音增强算法研究[D];吉林大学;2011年
10 覃爱娜;基于非线性理论的汉语语音编码技术研究[D];中南大学;2012年
11 覃胜;语言学习系统学生终端机的数字化研究[D];重庆大学;2004年
12 刘正辉;数字音频主动取证技术研究[D];西南交通大学;2014年
13 侯丽敏;基于非线性理论和信息融合的说话人识别[D];上海大学;2005年
14 徐新洲;基于情感特征信息增强的语音情感识别研究[D];东南大学;2017年
15 安冬;噪声背景下说话人识别的若干关键问题研究[D];东北大学;2013年
16 刘柏森;基于HHT复杂环境下低信噪比语音检测及增强方法研究[D];哈尔滨工程大学;2011年
17 潘欣裕;谎言语音检测分析研究[D];苏州大学;2016年
18 谢波;普通话语音情感识别关键技术研究[D];浙江大学;2006年
19 陈墨;基于大脑脑电信号及编解码的视频情感计算研究[D];西北工业大学;2018年
20 周文君;舰船VDR人声识别技术研究[D];哈尔滨工程大学;2009年
中国硕士学位论文全文数据库 前20条
1 张欣;基于语音信号的情感监测系统研究[D];华东交通大学;2017年
2 黄均安;基于Zynq-7000硬件平台的语音信号采集处理设计[D];杭州电子科技大学;2019年
3 张瑞博;时频分析在语音信号增强中的应用[D];重庆邮电大学;2018年
4 饶晓文;基于模糊推论的混合式数字滤波强化系统设计与实现[D];电子科技大学;2019年
5 吴聪;阵列麦克风语音采集增强系统设计与实现[D];电子科技大学;2019年
6 白珈郡;语音信号可视化的方法研究[D];东北大学;2015年
7 卢亚敏;语音信号的增强及其识别算法[D];南京信息工程大学;2018年
8 王贺;嘈杂环境下特定目标语音搜索方法研究[D];哈尔滨理工大学;2018年
9 赵宏志;基于MATLAB的语音信号增强算法的研究[D];兰州交通大学;2018年
10 洪民江;基于小波变换的语音信号去噪算法研究[D];南京邮电大学;2018年
11 赵涔汐;基于发音运动连续性的语音修复的研究[D];天津大学;2018年
12 陈妙;湍流信道中语音信号自适应小波快速去噪技术研究[D];电子科技大学;2018年
13 汪啸;远距离激光振动检测技术的研究[D];电子科技大学;2018年
14 康环宇;抑郁人群语音信号时间特征研究[D];兰州大学;2018年
15 朱艺婷;用于户外远程语音信号定位的解卷波束形成性能评价[D];浙江大学;2018年
16 孙博;语音信号去混响研究[D];沈阳理工大学;2018年
17 刘江山;基于人工蜂群算法的混沌语音信号预测模型研究[D];陕西师范大学;2018年
18 袁嘉棋;基于压缩感知的语音信号加密研究[D];广东工业大学;2018年
19 王纯子;基于集成算法的语音降噪方法研究[D];辽宁师范大学;2017年
20 赵玲;基于盲源分离的语音信号增强研究[D];兰州理工大学;2016年
中国重要报纸全文数据库 前6条
1 记者 杨柳纯;HYT携手清华大学研发语音信号技术[N];深圳特区报;2009年
2 ;什么是信号分离器?[N];中国电脑教育报;2003年
3 记者 邱智丽;情感计算还不过关[N];第一财经日报;2016年
4 实习记者 崔爽;情感计算会让人类无所遁形吗[N];科技日报;2018年
5 实习记者 翟冬冬;情感计算:让机器拥有“读心术”[N];科技日报;2018年
6 本报编辑部编译;“蓝牙”欲东山再起[N];中国经济导报;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978