收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于mVEP和MI多模态脑机接口的关键技术研究

马腾  
【摘要】:多模态脑机接口(Brain compter interface,BCI)是当前脑机接口的研究重点方向之一。多模态BCI通过不同单模态BCI的组合可以弥补单模态BCI的一些缺陷,从而能够从灵活性或效率方面来提升BCI系统的性能。本文利用两种不同源的单模态BCI信号的融合,实现了一种新的多模态BCI系统。所选择的单模态信号分别是运动想象和运动起始视觉诱发电位,其中运动想象属于被试的自发型信号,而运动起始视觉诱发电位属于外界诱发型信号。自发型BCI不需要通过外部刺激只需被试进行自主意志的想象就可以完成控制。而对于诱发型BCI则需要外部刺激而不需要被试进行自主意志的想象。正是利用这两类BCI范式的信号机理的不同,本文将他们进行信息融合,让被试同时进行两种不同的任务,来实现能够同时执行这两种单模态任务的多模态BCI系统,从而获得灵活高效的控制。同时,由于运动起始视觉诱发电位BCI的刺激方式较为柔和、不易引起被试的疲劳和不适,所以本文设计的多模态BCI系统在操作感受上具有较为舒适的优势。然而由于多模态BCI同样也面临着与单模态BCI所面临的同样的如:背景噪声干扰、脑电信号平稳性等诸多因素的限制,为了进一步实现整个多模态BCI系统的性能提升,本论文对构成多模态系统的单模态BCI系统的性能分别进行优化了提升。本文研究的主要内容如下:1.将MI(运动想象)和mVEP(运动起始视觉诱发电位)两个单模态信息进行了融合,发展了一种新的混合BCI系统,实现了更高效的光标二维运动控制。所进行的多模态任务显示了本文提出的混合BCI系统可以同时诱发出所期望的MI和mVEP信号特征,两者与单模态BCI任务中所引发的特征非常接近。此外,在线二维运动控制实验的结果也显示出,所提出的混合BCI系统可以提供更有效和自然的控制命令。这些结果证实了我们所提出的混合BCI系统的可行性,并且相比单模态BCI系统可以实现更为高效的二维运动控制。2.针对组成多模态系统中的mVEP特征的有效提取,将深度学习方法与压缩感知方法进行了结合,提出了一种新的特征提取方法,以便挖掘更有差别性的mVEP特征从而提高mVEP BCI的性能。我们利用实验室真实数据对该方法与传统的基于幅度的mVEP特征提取方法进行了对比。可以验证深度学习和压缩感知结合的特征提取方法能够更有效地提取mVEP特征,从而显著的提升相应识别mVEP脑机接口系统的识别准确率。3.为了实现对组成多模态系统中的mVEP模态信息进行有效的在线更新学习,提出了一种基于mVEP信号BCI自适应校准框架。该框架的核心是将支持向量机(SVM)和模糊C均值聚类(fCM)进行多模态信息融合,挖掘出新样本里面的可靠信息,以进行自适应地更新训练集,从而能够有效地跟踪被试变化的状态。我们利用实验室真实数据对该自适应校准框架进行了验证,相比传统的CSP方法和单种方法的校正方法基于SVM与fCM进行组合的自适应校准框架都有最好的分类效果,这些结果体现出我们提出的自适应校准框架的有效性和高效性。4.针对组成多模态系统中的MI特征的有效提取,采用半监督的思想对CDBN特征提取方法进行改进,提出了一个用于左、右手MI任务分类问题的新的特征提取方法SSL-CDBN。在该方法中,我们在原有的无监督训练中补充了样本的标签信息,但是并非直接利用标签,而是利用标签样本的聚类信息来避免对标签信息的过分依赖,从而避免了因此造成的网络泛化能力受限。我们利用实验室真实数据评估了所提出的SSL-CDBN方法用在跨被试分类问题中的潜力,结果表明在无训练情况下,SSL-CDBN方法得到的平均准确率分别比CSP和CDBN方法提高了4.1%和3.0%,又从分组被试数据的验证中可以看到SSL-CDBN方法对于较差BCI表现组的被试有更好的提升效果,这在脑机接口的应用中有潜在的价值。这些结果都表明SSL-CDBN方法能够基于已有被试的信息,有效的提取到新被试MI数据中具有两类差异性结构的特征,能够有效的提升MI-BCI的性能,显著降低被试进行MI脑机接口的训练负担。综上所述,本文提出、实现了一套基于MI和mVEP结合的混合BCI系统。然后从组成多模态系统的各单模态BCI研究入手,改进并提出了对于这些单模态BCI更为稳定和有效的特征提取与识别方法,从而为进一步提高多模态脑机接口的性能提供了必要的技术基础。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 何俊;刘跃;何忠文;多模态情感识别研究进展[J];计算机应用研究;2018年11期
2 汤波;王云;姚道武;;基于广告语言的多模态表现研究[J];皖西学院学报;2018年03期
3 梅勇;申云化;;大学英语教师多模态运用调查研究——以武汉地区高校为例[J];外国语文研究;2017年05期
4 翁成颜;;浅析多模态视角下中学翻转课堂教学模式[J];海外英语;2017年22期
5 郭婷;;微传播中多模态语篇的图文意义共建研究[J];海外英语;2017年24期
6 何少娴;张芳;毛浩然;;多模态研究的内涵外延、方法与视角[J];闽江学院学报;2017年06期
7 刘欣;徐邵阳;刘苏玲;翟子秋;;中英广告的多模态隐喻对比研究[J];现代交际;2018年02期
8 金黛莱;关承惠;;多模态视角下民族大学校徽的意义解读[J];聊城大学学报(社会科学版);2018年01期
9 毛现桩;;多模态符号学理论下多模态意义建构中模态间的并协与互补——一个大学校徽图案的视觉语法分析[J];科技风;2016年20期
10 王荣斌;薛耀琴;;大学英语写作教学中多模态评价能力的培养研究[J];内蒙古农业大学学报(社会科学版);2016年06期
11 汤海燕;;一幅“亚投行”政治漫画的多模态隐喻研究[J];海外英语;2016年22期
12 陈小云;李文斌;徐曦;陈娅玲;;高职英语听力多模态教学——基于缓解材料难度焦虑的探究[J];金华职业技术学院学报;2017年01期
13 程瑞兰;;多模态话语学位论文研究:空间结构特征及其形成原因[J];宿州学院学报;2016年12期
14 宋娟;;中英公益广告构图意义多模态对比分析[J];佳木斯职业学院学报;2017年01期
15 杨永青;;广告语言的多模态视角研究[J];山东农业工程学院学报;2016年12期
16 张德禄;;多模态论辩修辞框架探索[J];当代修辞学;2017年01期
17 乐思伟;;多模态性别隐喻的认知机制探析——以商业广告中的多模态性别隐喻为例[J];广东第二师范学院学报;2017年01期
18 郑鑫;;基于多模态识读能力培养的大学英语阅读教学[J];湖北函授大学学报;2017年08期
19 王文蒲;;多模态教学模式对学生学习自主性及效果的影响研究[J];英语广场;2017年02期
20 张睿思;;多模态话语框架下的跨文化交际课程教学实践[J];英语教师;2017年09期
中国重要会议论文全文数据库 前10条
1 唐淑华;;文学语篇的语言学研究视角:多模态认知诗学——《多模态、认知和实验文学》评介[A];认知诗学2014年第1辑[C];2014年
2 杜玲莉;王开建;纪再祥;;基于多模态话语理论的大学英语教学改革[A];新教育时代(2015年10月 总第1辑)[C];2015年
3 王琳;;浅析多模态话语分析理论在初中英语写作教学中的应用[A];第二届世纪之星创新教育论坛论文集[C];2015年
4 张霄军;;多模态语料库:抢救濒危语言的有效途径[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
5 张莹;;大学英语课堂的多模态教学研究[A];“决策论坛——基于公共管理学视角的决策研讨会”论文集(下)[C];2015年
6 夏凡;王宏;;多模态情感数据标注方法与实现[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
7 张旭;郭晨;孙建波;;自适应多模态克隆选择算法[A];2007年中国智能自动化会议论文集[C];2007年
8 赵广州;;从多模态话语理论角度来看交际教学法中的角色扮演[A];福建省外国语文学会2010年年会论文集[C];2010年
9 霍畅;侯婷婷;;基于大学英语翻转课堂的多模态教学研究[A];外语教育与翻译发展创新研究(第六卷)[C];2017年
10 党军;;双语词典的多模态化——用户·词典·编者[A];福建省外国语文学会2010年年会论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 屈雯;基于多模态内容分析的多视角视频推荐技术研究[D];东北大学;2015年
2 马腾;基于mVEP和MI多模态脑机接口的关键技术研究[D];电子科技大学;2018年
3 张灵均;多模态数据分类的模糊粗糙方法研究[D];天津大学;2017年
4 张淑美;基于数据驱动的复杂多模态过程模态识别及过程监测研究[D];东北大学;2016年
5 曾宪武;大跨度桥梁多模态耦合颤抖振及其控制研究[D];华南理工大学;2006年
6 朱玲;昆剧翻译的多模态视角探索[D];苏州大学;2015年
7 聂为之;多模态媒体数据分析关键技术研究[D];天津大学;2014年
8 李宝磊;多元优化过程记忆算法及动静条件下多模态寻优研究[D];云南大学;2015年
9 王雷全;基于图模型的多模态社会媒体分析[D];北京邮电大学;2016年
10 程波;基于迁移学习的多模态脑图像分析及其应用研究[D];南京航空航天大学;2015年
中国硕士学位论文全文数据库 前10条
1 黄秀;基于多模态社交媒体数据源的用户画像构建的研究[D];电子科技大学;2018年
2 梅素萍;多模态理论在高中英语词汇教学中的实验研究[D];河北师范大学;2018年
3 朱美玲;概念整合理论视角下《野兽国》的多模态隐喻意义建构[D];陕西师范大学;2017年
4 吴米花;集体教学活动中学前名师多模态话语支架功能的个案研究[D];华中师范大学;2017年
5 谢亮;小生境粒子群算法在多模态及动态问题中的研究[D];中原工学院;2018年
6 崔焕喜;多模态MRI结合超声在脑胶质瘤术中的应用[D];新疆医科大学;2017年
7 张寅丰;基于体模的64排螺旋CT多模态扫描对颅脑病灶及边缘征象的解剖学研究[D];河北医科大学;2017年
8 韩晶;政治漫画中多模态隐喻认知研究:概念整合视角[D];内蒙古大学;2017年
9 赛小琴;多模态视角下中英反吸烟公益广告人际意义对比研究[D];新疆大学;2017年
10 马嵩;多模态理论在高中英语词汇教学中的应用研究[D];沈阳师范大学;2017年
中国重要报纸全文数据库 前10条
1 苏州大学跨文化研究中心、天津职业技术师范大学非盟研究中心 朱玲;多模态:翻译研究的新视角[N];中国社会科学报;2017年
2 康建朝 中国教育科学研究院助理研究员 中芬教育创新研究中心主任 李栋 芬中教育协会执行副主席兼秘书长;从中芬对比视角看芬兰核心素养[N];中国教育报;2017年
3 浙江万里学院外语部 王中祥;多模态研究:认知语言学的新方法[N];中国社会科学报;2017年
4 记者 戴丽昕;共融机器人多模态转变成为发展趋势[N];上海科技报;2017年
5 西北师范大学外国语学院 吕文澎 兰州商学院陇桥学院外国语言文学系 韩世霞;多模态写作的特征与趋势[N];中国社会科学报;2016年
6 同济大学外国语学院 黄立鹤;多模态语言研究发展前景广阔[N];中国社会科学报;2016年
7 记者 张建列 通讯员 冯春;深圳先进院研制出新一代多模态显微系统[N];广东科技报;2016年
8 浙江大学教授 胡晓云 本报记者 孙鲁威;坚持多模态产业模式[N];农民日报;2011年
9 记者 李玉;信息技术深化多模态话语研究[N];中国社会科学报;2017年
10 记者 刘垠;在分子水平上认识疾病[N];大众科技报;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978