收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于脑电和眼动信号的跨文化情绪识别研究

甘璐  
【摘要】:情绪,是一种与思维、感知和行为相关的精神状态。探索情绪产生的机理以及情绪在各种不同条件和环境下的变化与特性,可以帮助人们更好地理解自己,可以为开发更加自然、友好的人机交互系统提供技术支撑,也可以帮助实现许多精神疾病的客观评估与辅助治疗。跨文化的情绪差异研究同样也是心理学、认知科学、神经科学和精神医学等学科的一个重要研究分支。已经有许多科学研究发现,对于不同文化背景的人群,对情感的理解存在共性与差异性。但是,已有的研究大多停留在定性的分析,缺乏客观和定量的研究。因此,本研究选择了中国人和法国人,进行基于脑电和眼动信号的正向、中性及负向情绪识别的对比研究,探索中法两国被试在脑电与眼动模式上的异同。中国被试的数据来自于公开数据集,因此我们设计了法国人的实验并采集刺激素材,招募了8名法国被试,完成了共计24组实验。实验采集到的脑电及眼动数据将经过预处理、特征提取及特征平滑,并输入分类器进行分类。为了探索中国人与法国人在三类情绪识别方面的异同,我们使用了支持向量机对脑电及眼动信号进行分类,并使用了脑电地形图及功能性脑连接分析算法对中法两国被试的脑电信号进行可视化。为了探索多模态跨文化情绪识别和提升跨文化情绪识别的精度,我们采用深度典型分析的方法将脑电及眼动信号进行融合。为补充训练数据量不足的问题,我们使用了条件生成式对抗网络生成脑电与眼动数据。通过系统的实验比较,我们发现中法被试的脑电特征均在高频段下对三类情绪有更好的区分能力。对于两国不同类型的脑电特征,微分熵特征均是三类情绪识别能获得最高准确率的脑电特征。脑电地形图与功能性脑连接分析的结果从可视化的角度展现了中法被试在高频段脑电模式上的相似之处。使用条件生成式对抗网络则有效地生成了脑电及眼动数据,我们发现脑电特征对于区分正向及中性情绪有优势,而眼动特征则更善于区分负向情绪,在结合两种模态后,中法被试的情绪识别准确率均得到了提升。


知网文化
【相似文献】
中国期刊全文数据库 前16条
1 白学军,沈德立;初学阅读者和熟练阅读者阅读课文时眼动特征的比较研究[J];心理发展与教育;1995年02期
2 黄晟;杨莹;;眼动技术在连弧纹铭带镜设计因子提取中的应用[J];电子测量技术;2021年02期
3 梁菲菲;王永胜;杨文;白学军;;阅读水平调节儿童阅读眼动注视模式的发展:基于9~11岁儿童的证据[J];心理学报;2017年04期
4 段力令;胡阿旭;于洪志;;基于眼动信号的篇章阅读研究[J];西北民族大学学报(自然科学版);2014年02期
5 靳慧斌;陈健;刘文辉;宋祥波;洪远;;眼动指标在实时测量心理负荷中的应用进展[J];科学技术与工程;2015年30期
6 贺荟中;孙彬彬;;不同阅读能力聋人语篇理解中连接推理的眼动比较[J];心理与行为研究;2014年04期
7 张骁鸣;黎耀奇;;眼动实验应用于旅游研究的方法论问题[J];旅游学刊;2020年12期
8 孙欣;詹青龙;;高频术语视角下对眼动追踪技术研究文献的可视化分析[J];中国科技术语;2021年01期
9 Kathy Conklin;Ana Pellicer-Sanchez;Gareth Carrol;于秒;闫国利;;《眼动追踪:应用语言学研究实用指南》述评[J];当代语言学;2020年04期
10 申佳惠;曹霄洁;;基于眼动实验的反光校服夜间辨识效果影响因素研究[J];轻纺工业与技术;2021年01期
11 龚映梅;姚楠;杨红娟;;眼动实验与消费者决策研究述评[J];科技和产业;2021年04期
12 郑成艳;王哲;严璘璘;;眼动追踪技术的研究述评[J];分析仪器;2021年02期
13 焦糖;;眼动追踪技术集成和洞察服务[J];张江科技评论;2021年02期
14 牛增良;孟德宇;王光耀;;国内汽车市场驾驶人眼动行为检测技术分析[J];汽车实用技术;2021年07期
15 章成志;胡少虎;张颖怡;;通用语料的眼动数据对微博关键词抽取的性能提升探究[J];情报学报;2021年04期
16 郑欣;郝腾腾;王慧宇;许开立;;基于眼动指标的脑力疲劳识别研究[J];安全;2021年04期
中国重要会议论文全文数据库 前20条
1 王博韬;李晶晶;程丽芳;胡卫平;;大脑半球互动水平对创造性科学问题提出能力的影响:来自利手、眼动刺激的证据[A];第十七届全国心理学学术会议论文摘要集[C];2014年
2 陶云;白学军;阎国利;;小学生插图课文的眼动实验研究[A];第九届全国心理学学术会议文摘选集[C];2001年
3 臧伟;郭亚楠;周鸣浩;王信;李伟伟;朱赟;;基于VR眼动数据的空间环境信息采集分析方法和应用探究——以喀什高台民居保护与设计为例[A];数智营造:2020年全国建筑院系建筑数字技术教学与研究学术研讨会论文集[C];2020年
4 崔玮强;郭湘闽;卢添添;侯舒艨;;基于眼动感知的商业街道视觉吸引力评价方法研究——以黄盖湖镇主街为例[A];数智营造:2020年全国建筑院系建筑数字技术教学与研究学术研讨会论文集[C];2020年
5 周清杰;;眼动追踪技术在决策研究中的应用[A];第十七届全国心理学学术会议论文摘要集[C];2014年
6 贺荟中;方俊明;;聋生与听力正常学生在背景知识参与下建立文本整体连贯的眼动比较[A];第十届全国心理学学术大会论文摘要集[C];2005年
7 沈德立;陶云;;不同文体课文阅读过程的眼动实验研究[A];第九届全国心理学学术会议文摘选集[C];2001年
8 沈德立;白学军;徐富明;;大中学生阅读元理解监控的眼动特征研究[A];第十届全国心理学学术大会论文摘要集[C];2005年
9 林彩云;陈顺森;;自闭症谱系障碍儿童平滑追踪眼动特点研究[A];第十八届全国心理学学术会议摘要集——心理学与社会发展[C];2015年
10 戴斌荣;阴国恩;阎国利;;儿童青少年分类活动的影响因素及眼动特征的研究[A];第十届全国心理学学术大会论文摘要集[C];2005年
11 崔磊;王穗苹;;重复阅读中文章主题转换效应的眼动分析[A];第十届全国心理学学术大会论文摘要集[C];2005年
12 王娜;任衍具;;真实场景搜索中的眼动返回抑制:语义信息的作用[A];第十七届全国心理学学术会议论文摘要集[C];2014年
13 杨海波;朱竞男;;不同情绪启动条件对个体情绪信息注意偏向的影响:基于眼动的证据[A];第二十届全国心理学学术会议--心理学与国民心理健康摘要集[C];2017年
14 夏凌翔;黄希庭;;自立人格对认知影响的眼动研究[A];第十一届全国心理学学术会议论文摘要集[C];2007年
15 陈(?)之;黄健辉;;中文双字词识别中的词素模糊性与眼动[A];第九届全国心理学学术会议文摘选集[C];2001年
16 陈婉茹;沃建中;;青少年分类加工能力发展的眼动特点[A];第十一届全国心理学学术会议论文摘要集[C];2007年
17 郑啟豪;顾勇;;额叶眼动区神经元在多感觉自身运动方向辨别中的动力学分析[A];第四届全国神经动力学学术会议摘要集[C];2018年
18 陈湘君;王晨晓;吕帆;;眼动对于中文阅读速度的影响[A];中华医学会第十二届全国眼科学术大会论文汇编[C];2007年
19 张雪萌;陈红;;成功、失败限制性饮食者对食物加工的能量效应[A];第十八届全国心理学学术会议摘要集——心理学与社会发展[C];2015年
20 陈凌育;赵信珍;孙复川;;眼动注视特征比较——AD病人与正常人识别眼动的差异[A];中国生理学会第21届全国代表大会暨学术会议论文摘要汇编[C];2002年
中国博士学位论文全文数据库 前20条
1 徐艺;面向路段交通冲突辨识的驾驶人眼动特征研究[D];吉林大学;2016年
2 林敏;基于眼动信息的人机交互关键技术研究[D];上海大学;2014年
3 高迪;面向视觉计算的动态眼动跟踪技术研究[D];哈尔滨工程大学;2015年
4 胡文婷;眼动行为的语义表达及其在图像检索中的应用研究[D];南京大学;2016年
5 王存国;亮度及立体刺激引导的快速眼球运动[D];中国科学院研究生院(上海生命科学研究院);2006年
6 李浩;基于眼动特征的小屏幕设备网页内容适配研究[D];华中师范大学;2013年
7 童剑亮;双相视觉脉冲反应与Optokinetic Nystagmus(OKN)眼动[D];中国科学院研究生院(上海生命科学研究院);2003年
8 张祖涛;基于采样强跟踪非线性滤波理论的驾驶员眼动跟踪技术研究[D];西南交通大学;2010年
9 卢万譞;基于眼动跟踪的网络搜索行为分析与预测[D];北京理工大学;2015年
10 孟春宁;人眼检测与跟踪的方法及应用研究[D];南开大学;2013年
11 李瑛;视觉表象建构及表象扫描的眼动特征[D];陕西师范大学;2008年
12 高裴裴;人眼驱动语音合成的若干关键技术研究[D];南开大学;2012年
13 李小伟;脑电、眼动信息与学习注意力及抑郁的中文相关性研究[D];兰州大学;2015年
14 薛继国;基于眼动和脑电的心理旋转认知机制研究[D];中国人民解放军军事医学科学院;2017年
15 陈霞;先天性眼球震颤患者视频眼动图的分析和眼外肌超微结构的观察[D];天津医科大学;2010年
16 王素霞;小学生执行功能的发展特点[D];辽宁师范大学;2017年
17 陶云;不同年级学生阅读有或无配图课文的眼动实验研究[D];天津师范大学;2001年
18 乐郊;应用眼动技术评估自闭症及催产素影响[D];电子科技大学;2020年
19 刘晓环;英汉语错序结构阅读的眼动特征及其认知模型建构[D];苏州大学;2016年
20 孙延林;不同水平体操运动员的预期与视觉搜索特征的研究[D];天津师范大学;2009年
中国硕士学位论文全文数据库 前20条
1 甘璐;基于脑电和眼动信号的跨文化情绪识别研究[D];上海交通大学;2020年
2 彭毅;眼动信号的提取与分类识别研究[D];上海师范大学;2016年
3 温宝琴;基于最优控制的飞行眼动策略研究[D];中国民航大学;2015年
4 李东坡;基于眼动的用户交互行为规律分析技术[D];南京大学;2020年
5 李金瑞;悲观大学生注意偏向成分、时间进程特点及其干预研究[D];深圳大学;2019年
6 吴施仪;虚拟现实视觉诱发态下基于前额脑电及眼动的情绪分类研究[D];华南理工大学;2019年
7 谭婷婷;眼动脱敏再加工疗法在中职学校学生群体中的应用研究[D];天津师范大学;2019年
8 李传财;视频显著性眼动实验所需最优人数的预测[D];杭州电子科技大学;2019年
9 姜晨;基于眼动追踪的老年人手机界面交互设计研究[D];江苏师范大学;2016年
10 郑琬弋;基于眼动跟踪技术的视觉专注界面分类研究[D];电子科技大学;2019年
11 朱国蕾;模拟进近飞行过程中的眼动特征研究[D];中国民航大学;2019年
12 于桂花;模拟单发失效情境中的眼动行为分析[D];中国民航大学;2019年
13 王茜;管制负荷与眼动特征的关系研究[D];中国民航大学;2019年
14 张锐;基于眼动分析的沈阳世博园导向标识研究[D];沈阳农业大学;2019年
15 李永强;面向智能头显的眼动跟踪技术的研究[D];广东工业大学;2019年
16 李伟哲;眼动辅助界面交互设计及其可用性研究[D];广东工业大学;2019年
17 魏玲玲;基于眼动实验的景观视觉感知研究[D];南京师范大学;2019年
18 高翔宇;基于眼动数据的疲劳度标注方法研究[D];上海交通大学;2016年
19 张宇飞;基于前额眼电和眼动数据的疲劳驾驶检测研究[D];上海交通大学;2016年
20 魏千景;融合眼动和脑电数据的认知计算与协同交互研究[D];浙江工业大学;2019年
中国重要报纸全文数据库 前10条
1 中国青年报·中青在线记者 孙震 实习生 谷君峰;80.9%受访者承诺在春游时“动眼动口不动手”[N];中国青年报;2016年
2 陕西师范大学外国语学院 范娜;外语应用研究中的眼动跟踪[N];中国社会科学报;2020年
3 张宝敏;眼动,把握阅读的规律[N];中国教育报;2001年
4 苑广阔;春游“动眼动口不动手”[N];中国旅游报;2016年
5 本报记者 明海英;眼动轨迹揭示心灵奥秘[N];中国社会科学报;2016年
6 Ellen I. Carni(美)著 李巧艺 译;眼动与记忆[N];音乐周报;2003年
7 记者 常丽君;手机能随你目光懂你心思[N];科技日报;2016年
8 本版编辑PreTesting公司创建者和CEO Lee Weinblatt 董艳平 桔梗;眼睛不说谎[N];医药经济报;2007年
9 《环球科学》杂志社;2015年十大创新技术[N];光明日报;2015年
10 通讯员 文浩;飞行人员体检可轻松完成[N];中国民航报;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978