收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于卷积神经网络的多模态情绪识别

戴紫玉  
【摘要】:本文针对情绪识别中传统的人工特征选取需要耗费大量时间和精力的问题,创新性的提出了一种基于多尺度卷积核卷积神经网络(Multi-Scale Convolution Kernel Convolution Neural Network,MSCNN)的特征提取与分类方法;此外,针对现有算法未能提取多模态信号中表征能力强的情绪特征,构建了由多尺度卷积核卷积神经网络和长短时记忆网络(Long Short Term Memory Network,LSTM)组合而成的多模态卷积神经网络(MSCNN-LSTM)模型用于处理多模态信号。本文分别从情绪脑电信号特征提取、多模态信号融合等角度做出了改进,并在国际公开数据集SEED和SEED-IV上进行了实验。主要研究内容如下:(1)在传统卷积神经网络(Convolutional Neural Networks,CNN)模型的基础上,提出了一种基于MSCNN的特征提取与分类方法。传统CNN的卷积层采用的是单一尺寸的卷积核,为了提取信号更深层次的特征,需要构建多个卷积层,从而使网络结构变得复杂,导致网络性能降低。而MSCNN在卷积层上增加了多个不同尺度的卷积核,扩大了特征提取维度,减少了卷积层层数,能极大提高网络性能。实验结果显示,MSCNN在SEED数据集微分熵(Differential Entropy,DE)特征上的情绪三分类取得了98.19%的平均分类准确率,证明了该模型的有效性和鲁棒性。(2)构建了多模态卷积神经网络用于处理多模态信号,旨在分别提取出脑电(Electroencephalogram,EEG)信号和眼动信号最显著的情绪分类特征,最大程度的提高情绪分类识别的效率和准确率。MSCNN-LSTM由多尺度卷积核卷积神经网络和长短时记忆网络两大模块组成,MSCNN网络用于提取EEG信号特征,LSTM网络用于提取眼动信号的时序特征,特征融合采用特征级融合。实验结果显示,多模态信号相对于单模态信号有更高的情绪分类准确率,基于6通道EEG信号和眼动信号的多模态信号情绪四分类平均准确率达到了97.94%;此外通过混淆矩阵发现多模态信号在高兴情绪上具有互补作用,从而相比于单模态信号能得到更高的分类准确率,而EEG信号在伤心情绪上的分类性能高于眼动信号和多模态信号;在跨会话稳定性实验中,多模态信号取得了96.5%的准确率,验证了MSCNN-LSTM的跨会话相对稳定性和有效性。


知网文化
【相似文献】
中国期刊全文数据库 前16条
1 邱达锋;;一种基于多模态融合神经网络对疲劳度检测的方法[J];现代计算机;2020年35期
2 郑德重;杨媛媛;黄浩哲;谢哲;李文涛;;基于距离置信度分数的多模态融合分类网络[J];上海交通大学学报;2022年01期
3 熊红凯;高星;李劭辉;徐宇辉;王涌壮;余豪阳;刘昕;张云飞;;可解释化、结构化、多模态化的深度神经网络[J];模式识别与人工智能;2018年01期
4 魏英姿;曹雪萍;;多模态卷积神经网络的物体抓取检测[J];沈阳理工大学学报;2019年04期
5 李丽娟;;多模态隐喻与企业文化记忆构建[J];人民论坛;2021年35期
6 马陈静;陈笑春;;多模态隐喻视角下我国脱贫攻坚国家形象的建构[J];青年记者;2021年22期
7 白嗣新;;高校多模态线上教学模式的研究、构建与策略——以播音与主持艺术“配音与声音艺术”课程为例[J];牡丹江教育学院学报;2021年11期
8 朱晓;卜凡凡;;国家认同的多模态话语建构——以《故事里的中国》为例[J];青年记者;2021年24期
9 郝俊雯;;多模态下的高职公共英语教学初探[J];江西电力职业技术学院学报;2021年10期
10 王飞;黄艺璠;汪鹏;;基于多模态数据的肺癌专病库建设研究[J];中国数字医学;2021年12期
11 周诗婕;车嘉琪;张文嫡;张玉良;;基于老年驾驶人的多模态集成式交互设计研究[J];汽车工程师;2021年12期
12 陈耿;;语义增强的多模态虚假新闻检测思考[J];数字技术与应用;2022年01期
13 刘清堂;李小娟;谢魁;常瑀倍;郑欣欣;;多模态学习分析实证研究的发展与展望[J];电化教育研究;2022年01期
14 马云飞;郑旭东;赵冉;刘慧;;深度学习的发生机制与多模态数据测评研究[J];远程教育杂志;2022年01期
15 周冰;;智媒视域下语言标签的多模态意义建构[J];现代传播(中国传媒大学学报);2021年12期
16 白玉贞;刘挨师;;疫情时期的影像专业“多模态”教学[J];内蒙古医科大学学报;2021年S2期
中国重要会议论文全文数据库 前20条
1 谭静;茅洁;赵婕;黄昕;肖小悦;温礼隆;;在体育领域应用多模态学习分析技术——以在AR环境下学习冬季运动项目为例[A];第十二届全国体育科学大会论文摘要汇编——墙报交流(体育工程分会)[C];2022年
2 王靖恪;;多模态视角下第十四届全运会会徽的概念隐喻建构[A];2021年“一带一路”体育文化学术大会论文摘要集[C];2021年
3 史丽娟;王萌铎;桑艺昱;张喆;续欣莹;;针对多模态数据的代价敏感堆栈宽度学习系统[A];第32届中国过程控制会议(CPCC2021)论文集[C];2021年
4 王力;夏海轮;郭彩丽;;基于音视频融合的视频标题生成[A];第十五届全国信号和智能信息处理与应用学术会议论文集[C];2022年
5 皮涛;;基于多元读写能力培养的初中英语多模态写作教学模式探究[A];广东教育学会2021年度学术讨论会暨第十七届广东省中小学校长论坛论文选(二)[C];2021年
6 傅咏;;多模态初中英语综合语言运用课教学模式初探[A];广东教育学会2021年度学术讨论会暨第十七届广东省中小学校长论坛论文选(三)[C];2021年
7 杜晓;;多模态教学模式在高中英语词汇教学中的应用效果研究[A];2021教育科学网络研讨会论文集(七)[C];2021年
8 高于;苏伟伟;;探究高中英语阅读教学过程中多模态识读能力素养的培养[A];2021教育科学网络研讨年会论文集(上)[C];2021年
9 胡秀娟;王琳琳;;核心素养背景条件下的高中英语多模态阅读教学探究[A];2021教育科学网络研讨年会论文集(下)[C];2021年
10 纪莉莉;;刍议小学英语绘本阅读中的多模态教学[A];2021教育科学网络研讨年会论文集(上)[C];2021年
11 洪秀差;;运用多模态方式,提高英语语篇学习效率[A];2020年课堂教学教育改革专题研讨会论文集[C];2020年
12 秦婷婷;;多模态环境下的雅思听力教学[A];华南教育信息化研究经验交流会2021论文汇编(一)[C];2021年
13 陈冬霞;林泓域;高锦豪;;响应型多模态成像探针用于超氧阴离子(O_2·~-)的检测与成像[A];第十一届全国化学生物学学术会议论文摘要(第三卷)[C];2019年
14 凌秋霞;;小学英语口语多模态教学模式的有效策略探究——以PEP五年级教材为例[A];广东教育学会2019-2020年度学术成果集[C];2020年
15 陆礼春;;语言—音乐多模态语篇构建的认知功能对比研究[A];教育语言学研究第二卷 SFL与LCT专题[C];2019年
16 杨鹏鲲;;信息化背景下多模态话语分析理论在大学英语教学中的应用[A];华南教育信息化研究经验交流会2021论文汇编(六)[C];2021年
17 闫书佳;刘新伯;熊桓仟;童美松;;基于多模态算法的电力设备智能检测方法研究[A];2020中国自动化大会(CAC2020)论文集[C];2020年
18 王良坤;;多模态教学模式在初中英语阅读教学中的应用研究[A];2021年课堂教学教育改革专题研讨会论文集[C];2021年
19 孔国庆;;多模态教学在初中英语阅读教学中的应用研究[A];华南教育信息化研究经验交流会2021论文汇编(十)[C];2021年
20 刘振;;多模态理论在词汇教学中的有效性研究[A];2020学术年会报告文集[C];2021年
中国博士学位论文全文数据库 前20条
1 郑超群;面向高效多媒体检索的多模态哈希方法研究[D];山东师范大学;2021年
2 赵维;基于多模态影像数据的脑网络研究[D];湖南师范大学;2019年
3 曹俊亮;水下滑翔机多模态运动控制与路径规划研究[D];上海交通大学;2016年
4 汪珊;局灶性皮质发育不良的临床和影像学分析及多模态术前评估的临床研究[D];浙江大学;2019年
5 卢洪阳;清醒小动物多模态脑光学成像技术及应用[D];上海交通大学;2016年
6 胡敏;多模态靶向纳米探针在微小肝癌的诊断及光热治疗的实验研究[D];南方医科大学;2018年
7 刘曌雯;多模态生物数据分析与挖掘研究[D];西安电子科技大学;2018年
8 张灵均;多模态数据分类的模糊粗糙方法研究[D];天津大学;2017年
9 张淑美;基于数据驱动的复杂多模态过程模态识别及过程监测研究[D];东北大学;2016年
10 屈雯;基于多模态内容分析的多视角视频推荐技术研究[D];东北大学;2015年
11 马腾;基于mVEP和MI多模态脑机接口的关键技术研究[D];电子科技大学;2018年
12 年福东;基于语义先验约束的多媒体特征表示研究[D];安徽大学;2018年
13 李钊;多模态数据分类与检索的关键技术研究[D];北京交通大学;2018年
14 赵春秋;多模态纳米成像检测试剂及其应用研究[D];东南大学;2017年
15 赵亮;多模态数据融合算法研究[D];大连理工大学;2018年
16 张亚洲;面向多模态情感分析的类量子交互模型[D];天津大学;2019年
17 朱玲;昆剧翻译的多模态视角探索[D];苏州大学;2015年
18 胡明霞;美国国防部和星条旗网站军事历史专题报道主页多模态研究[D];国防科技大学;2020年
19 聂为之;多模态媒体数据分析关键技术研究[D];天津大学;2014年
20 李宝磊;多元优化过程记忆算法及动静条件下多模态寻优研究[D];云南大学;2015年
中国硕士学位论文全文数据库 前20条
1 戴紫玉;基于卷积神经网络的多模态情绪识别[D];杭州电子科技大学;2022年
2 杨璐;基于卷积神经网络的多模态哈希方法的研究与实现[D];南京邮电大学;2020年
3 吴艺超;基于多模态的医学图像分割关键技术研究[D];浙江大学;2020年
4 曾楚之;基于多模态神经网络的手势识别研究[D];深圳大学;2018年
5 白玉林;基于多模态数据的城市功能区与人流研究[D];大连理工大学;2021年
6 杨杰;基于自然语言特征的多模态情感分析研究[D];兰州理工大学;2021年
7 张志伟;基于图像和用户访问时序的多模态分类系统[D];上海交通大学;2020年
8 余东晨;多模态学习理论与应用研究[D];上海交通大学;2019年
9 尚鸽鸽;积极多模态隐喻分析视野下的《厉害了,我的国》[D];西安外国语大学;2019年
10 蒋金洋;英语儿童绘本汉译中的多模态关系呈现及其影响研究[D];江南大学;2018年
11 张建亮;多模态视角下中美新闻有关雾霾报道的社会参与者再现分析[D];长安大学;2018年
12 刘银;中国反腐政治漫画中的多模态隐喻:隐喻分类与反腐主题的构建[D];北京外国语大学;2018年
13 戴姣姣;多模态批评话语分析视角下人教版初中英语课本中的性别研究[D];西安外国语大学;2018年
14 阴艳芹;基于知识源嵌入与多模态数据融合的语义表达方式研究[D];山东建筑大学;2021年
15 李敏;央视公益广告的多模态话语分析[D];新疆财经大学;2019年
16 吴良庆;面向多模态信息的情绪分类方法研究[D];苏州大学;2020年
17 李朝阳;基于深度学习的多模态聚类分析[D];西安电子科技大学;2020年
18 宫雪莹;多模态隐喻在公益广告《不该》中的应用[D];哈尔滨师范大学;2021年
19 张康;基于深度学习的多模态数据特征融合问题的研究[D];齐鲁工业大学;2021年
20 严木兰;多模态视角下的初中英语阅读教学的实验研究[D];赣南师范大学;2019年
中国重要报纸全文数据库 前20条
1 记者 戴丽昕;共融机器人多模态转变成为发展趋势[N];上海科技报;2017年
2 记者 张建列 通讯员 冯春;深圳先进院研制出新一代多模态显微系统[N];广东科技报;2016年
3 本报记者 郭钇杉;京东数科发力多模态AI技术[N];中华工商时报;2020年
4 刘强 本报记者 乔地;IP网络遭遇困局 多模态智慧网络是未来发展方向[N];科技日报;2020年
5 本报见习记者 辛雨;成像设施,有“图”有“真相”[N];中国科学报;2019年
6 本报记者 顾鸿儒;人工智能尚未到来 多模态融合成为趋势[N];中国电子报;2019年
7 浙江大学教授 胡晓云 本报记者 孙鲁威;坚持多模态产业模式[N];农民日报;2011年
8 记者 查建国 陈炼;构建中国故事多模态国际传播格局[N];中国社会科学报;2021年
9 记者 李玉;信息技术深化多模态话语研究[N];中国社会科学报;2017年
10 记者 刘垠;在分子水平上认识疾病[N];大众科技报;2009年
11 本报记者 华凌;探究生命与物质奥秘,中国再铸两把“利器”[N];科技日报;2019年
12 姜月华 顾轩 程和琴;多模态传感系统助力长江沿岸水利工程防护[N];中国矿业报;2021年
13 温州大学人文学院 王建华;网络空间语言治理研究的三个维度[N];中国社会科学报;2022年
14 本报记者 翟冬冬;大模型“画龙”,小数据“点睛” 企业加快智能化转型[N];科技日报;2022年
15 记者 张梦然;神经网络打开理解电子相互作用新窗口[N];科技日报;2021年
16 记者 董映璧;神经网络技术检测玻璃钢缺陷精度高[N];科技日报;2020年
17 湖北日报全媒记者 张爱虎 通讯员 徐向军 实习生 于蓝;一群“90后”率先建成铁路“神经网络”[N];湖北日报;2019年
18 记者 刘霞;忆阻器制成神经网络更高效[N];科技日报;2017年
19 整理 本报记者 诸玲珍 顾鸿儒;微软神经网络切割法可使加速作用超线性[N];中国电子报;2018年
20 ;神经网络小史[N];电子报;2018年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978