收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于语音、表情与姿态的多模态情感识别算法实现

郭帅杰  
【摘要】:在人类的社交活动以及日常交流过程中,语音、姿态和面部表情被认为是传达人类情感的主要渠道。近年来,人类情感识别领域的相关研究取得了长足的发展与进步,为人工智能在今后的普及奠定了坚实的理论基础。起初人们对人类情感识别的研究还仅仅停留在单模态的情感识别上,然而,近几年来,随着科学技术尤其是人工智能技术的不断发展,越来越多的研究人员将目光放在了基于多模态相互融合的情感识别研究上来。文中提出了一种基于语音、表情与姿态的三模态情感自动识别方法。本文的研究工作主要有:(1)各模态情感特征的提取。首先,对于语音信号,提取得到它的韵律特征和MFCC特征等情感特征;对于表情信号,利用Gabor小波变换提取得到它的Gabor特征,并利用主成分分析方法对其进行特征降维以去除冗余信息,同时使其更易于处理;对于姿态信号,则利用EyesWeb平台提取得到描述姿态情感特征的各种参数来组成姿态情感特征。(2)情感特征的融合。对提取得到的各模态的情感特征进行归一化,并利用判别多重典型相关分析(Discriminative Multiple Canonical Correlation Analysis,DMCCA)将三个模态的情感特征融合起来,接着利用特征选择算法ReliefF对融合后的情感特征进行特征选择以进一步去除那些对类别判定不利的特征。经过融合后的特征不仅更便于处理而且综合利用了三个模态的情感信息,更加利于情感类别的准确判定。(3)三模态情感识别。在得到融合后的情感特征后,利用训练样本的情感特征对基于支持向量机的分类器进行训练得到一个预测模型,并利用训练得到的预测模型对测试样本进行情感类别标签的判定。仿真实验表明,在利用多模态情感信息的情况下有着较单模态更好的识别率,达到了50.43%,证明了DMCCA算法的有效性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 何琨;王国胤;杨勇;;基于选择性集成的情感识别[J];重庆邮电大学学报(自然科学版);2007年04期
2 熊勰;刘光远;温万惠;;基于智能算法的生理信号情感识别[J];计算机科学;2011年03期
3 程静;刘光远;;学科交叉视角下的情感识别研究进展[J];计算机科学;2012年05期
4 张金伟;刘晓平;;基于心理预警模型的微博情感识别研究[J];合肥工业大学学报(自然科学版);2013年11期
5 王蓓;王晓兰;;基于表情和语音的多模态情感识别研究[J];信息化研究;2014年01期
6 温万惠;邱玉辉;刘光远;程南璞;黄希庭;;情感生理反应样本库的建立与数据相关性分析[J];中国科学:信息科学;2011年01期
7 温万惠;刘光远;熊勰;;基于生理信号的二分类情感识别系统特征选择模型和泛化性能分析[J];计算机科学;2011年05期
8 刘智;杨宗凯;刘三(女牙);铁璐;;一种基于样本空间动态划分的中文情感识别方法[J];计算机应用研究;2013年05期
9 陈曾;刘光远;;脑电信号在情感识别中的应用[J];计算机工程;2010年09期
10 张颖,罗森林;情感建模与情感识别[J];计算机工程与应用;2003年33期
11 林时来;刘光远;张慧玲;;蚁群算法在呼吸信号情感识别中的应用研究[J];计算机工程与应用;2011年02期
12 王海宁;孙守迁;吴剑锋;;基于混合智能优化算法的生理信号情感识别[J];电信科学;2010年09期
13 邱红;刘光远;赖祥伟;;改进的禁忌搜索算法在肌电信号情感识别中的应用[J];计算机工程与设计;2012年04期
14 刘付民;张治斌;沈记全;;核典型相关分析算法的多特征融合情感识别[J];计算机工程与应用;2014年09期
15 王征;刘庆强;;基于情感识别方法的推荐系统(英文)[J];四川理工学院学报(自然科学版);2013年02期
16 陈丹淇;蒋冬梅;Ilse Ravyse;Hichem Sahli;;基于动态贝叶斯网络的听视觉融合情感识别[J];计算机仿真;2011年03期
17 解迎刚;王志良;平安;永井正武;;模糊情感分析及其在E-learning系统中的应用[J];计算机科学;2007年10期
18 程波;刘光远;;基于小波变换的表面肌电信号的情感识别[J];计算机工程与应用;2007年35期
19 黄程韦;金赟;王青云;赵力;邹采荣;;基于语音信号与心电信号的多模态情感识别[J];东南大学学报(自然科学版);2010年05期
20 刘智;杨宗凯;刘三(女牙);王泰;孟文婷;王胜明;;采用动态特征选择的中文情感识别研究[J];小型微型计算机系统;2014年02期
中国重要会议论文全文数据库 前10条
1 解迎刚;王志良;程宁;王国江;永井正武;;人脸与眼部检测及其在情感识别中的应用[A];第25届中国控制会议论文集(下册)[C];2006年
2 解迎刚;王志良;杨溢;邵彦娟;;基于改进蚁群算法的多模态情感识别研究[A];2011年中国智能自动化学术会议论文集(第一分册)[C];2011年
3 王志强;熊子东;傅向华;;基于螺旋模型的歌曲情感识别算法研究[A];第七届和谐人机环境联合学术会议(HHME2011)论文集【oral】[C];2011年
4 鲍军荣;李文锋;寿小云;嵇来春;;基于客观化脉搏振动觉的恐惧情感识别研究[A];心理学与创新能力提升——第十六届全国心理学学术会议论文集[C];2013年
5 杨广映;杨善晓;;基于表面肌电信号的情感识别研究[A];第三届中国智能计算大会论文集[C];2009年
6 张伟;谢湘;;基于HMM的音乐情感识别研究[A];第九届全国人机语音通讯学术会议论文集[C];2007年
7 戴明洋;杨大利;徐明星;张永超;陈胜;;面向真实情感识别的训练语音选择研究[A];第十一届全国人机语音通讯学术会议论文集(一)[C];2011年
8 黄力行;辛乐;赵礼悦;陶建华;;自适应权重的双模态情感识别[A];第九届全国人机语音通讯学术会议论文集[C];2007年
9 崔玉路;蒋冬梅;张晓静;谢磊;付中华;Ping Fan;Hichem Sahli;;基于三特征流DBN模型的听视觉情感识别[A];第十一届全国人机语音通讯学术会议论文集(一)[C];2011年
10 王爱东;谷珍;杨燕平;白鹤;;多媒体多模态教学在民办高校大学英语教学中的适用性及效果研究[A];语言与文化研究(第十四辑)[C];2014年
中国博士学位论文全文数据库 前10条
1 林奕琳;基于语音信号的情感识别研究[D];华南理工大学;2006年
2 朱亚忱;基于特权信息的情感识别[D];中国科学技术大学;2015年
3 张石清;基于语音和人脸的情感识别研究[D];电子科技大学;2012年
4 高静;信息物理融合系统中基于多模态数据的事件监测问题研究[D];哈尔滨工业大学;2015年
5 聂为之;多模态媒体数据分析关键技术研究[D];天津大学;2014年
6 刘鹏;慢性伤口光学仿体的多尺度多模态医学影像技术研究[D];中国科学技术大学;2016年
7 柴瑞峰;小儿神经重症患者术后多模态监测的临床研究[D];新疆医科大学;2017年
8 苗迪;基于特征层与分数层的多模态生物特征融合[D];中国科学技术大学;2017年
9 张征;英语课堂多模态读写能力实证研究[D];山东大学;2011年
10 李宝磊;多元优化过程记忆算法及动静条件下多模态寻优研究[D];云南大学;2015年
中国硕士学位论文全文数据库 前10条
1 郭帅杰;基于语音、表情与姿态的多模态情感识别算法实现[D];南京邮电大学;2017年
2 李承程;基于深度学习的文本语音耦合情感识别方法研究[D];合肥工业大学;2015年
3 沈成业;基于脑电信号的情感识别[D];太原理工大学;2017年
4 郭敏;基于脑电图的诱发型情感识别及机制研究[D];华侨大学;2017年
5 饶启玉;基于上下文的维度情感识别方法研究[D];江苏大学;2017年
6 李宇驰;基于EEG脑网络的情感分析与识别[D];太原理工大学;2017年
7 杨敏;非线性特征用于心电信号的情感识别[D];西南大学;2013年
8 刘俸汝;基于皮肤电情感识别的情感调节策略研究[D];西南大学;2013年
9 荀立晨;基于心电信号的情感识别研究[D];天津理工大学;2013年
10 聂聃;基于脑电的情感识别[D];上海交通大学;2012年
中国重要报纸全文数据库 前3条
1 记者 邰举;韩开发出脑电波情感识别技术[N];科技日报;2007年
2 黄力行陶建华;多模态情感识别参透人心[N];计算机世界;2007年
3 记者 刘垠;在分子水平上认识疾病[N];大众科技报;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978