收藏本站
收藏 | 论文排版

基于深度学习的多模态神经生物数据解析与脑疾病识别研究

谢津  
【摘要】:多模态神经生物数据解析是脑疾病与人工智能交叉学科中的一个重要研究方向。临床研究中通常会从患者身上收集大量的神经影像、电生理及行为数据等多模态神经生物信息,这为脑疾病的诊治提供了重要的数据支持;而深度学习为挖掘和理解脑疾病的临床差异和发病机制提供了有效的技术支撑。基于深度学习技术解析多模态神经生物数据,开发精准而高效的脑疾病识别技术,并探索脑疾病相关的神经生物标记,具有重要的科学意义和应用价值。因此,本论文基于多模态神经生物数据,包括:注意行为数据、弥散张量磁共振影像数据和脑电数据,提出了多种疾病特异性深度学习模型,实现了针对多种脑疾病及脑信号的准确识别与多类区分;并基于提出的可解释人工智能方法发现了脑疾病的生物视觉特征和脑网络中的类脑神经机制;本论文的研究工作为脑疾病的临床辅助诊断和运动功能辅助康复给出了新方法。论文的主要研究工作包括三个部分。研究工作一:基于眼动数据和双流ASD-VGG网络解析自闭症视觉行为。自闭症(ASD)中与非典型注意相关的视觉特征,特别是那些能够在个体水平上准确区分ASD和正常人(TD)的关键视觉特征很大程度上仍然是未知的;且缺乏一种可解释人工智能(XAI)的分析,能够揭示、可视化和解释分类背后的关键特征。因此,本文开发了一种新型的XAI深度学习框架用于系统识别和深入挖掘能在个体水平上准确区分ASD和TD的关键视觉特征;该框架融合了深度学习分类模型、图像分割方法、图像消融方法和直接度量分类能力的指标AUC(area under curve)。首先,我们设计了一种新型的双流ASD-VGG网络,将700张自然场景图片的刺激信息和对应的眼动信息融合输入到双流网络中,ASD识别准确率达到0.95,比其他SOTA(state-of-the-art)模型提高了3个百分点以上。基于XAI框架,我们系统地研究了三个不同级别水平的视觉特征的分类能力:单张图片、多张图片和图片局部特征。我们发现单张图片的分类贡献非常有限,而前250张图片组合信息的AUC值(0.96)超过了700张图片的AUC值(0.93),说明图片信息组合中既存在协同作用也存在拮抗作用。我们从自然场景图片中挖掘到了11类对自闭症识别具有重要作用的局部视觉特征,其中两类新的关键视觉特征:食品饮料、户外物体,两类改进的特征:中心-物体、动物。我们还找到了一组区域面积仅占44%的9类特征组合,AUC达到了0.92,这组高效特征组合有助于临床辅助诊断中指导训练医生。最后,我们通过递归特征消除法获得了一个只含12张图片的数据子集,AUC达到了0.86,这个高效数据子集可以应用于手机app开发以帮助家庭自主初筛。我们的XAI深度学习框架为识别和理解自闭症的非典型视觉注意提供了一种新颖而强大的工具,并将反过来促进自闭症生物标记的识别。研究工作二:基于弥散张量成像数据和Res-GCN网络识别多种脑疾病。脑疾病的异质性和共病症状已成为临床对多种脑疾病区分的一大挑战,目前仍比较缺乏能有效用于不同脑疾病检测任务的通用深度学习模型,特别是缺乏对多种脑疾病的区分。因此,本文基于人群图类型的图卷积网络(GCN)并融合残差神经网络(ResNet)的快捷连接结构,开发了一种新型的通用深度学习模型Res-GCN,基于弥散张量磁共振影像(DTI)分别检测精神分裂症、重度抑郁症和双相情感障碍三种脑疾病,并实现了对三种脑疾病的区分。首先,我们基于构建的3DResNet21网络对精神分裂症(SZ)、重度抑郁症(MDD)和双相情感障碍(BD)的DTI数据进行训练测试,准确率分别为0.8050、0.7011和0.7332,验证了预训练网络C3D-UCF101Net提取特征的有效性。融合C3D-UCF101Net提取的DTI影像特征和其他就诊信息并基于GCN网络,我们设计了一种新型的Res-GCN网络以提高三种脑疾病的检测精度:SZ、MDD和BD的准确率分别为0.8243、0.9329和0.8963;MDD准确率比其他SOTA模型提高了8个百分点以上,BD准确率比其他SOTA模型提高了1个百分点以上。不同识别任务的高精度验证了Res-GCN的泛化能力和鲁棒性。最后,我们将Res-GCN网络迁移到三种脑疾病和正常人的四分类任务中,分类准确率为0.6215。我们的Res-GCN深度学习网络为辅助脑疾病的临床诊断提供了一种新颖而有效的通用工具,为不同脑疾病的诊治研究提供了新思路。研究工作三:基于脑电数据和多尺度CNN-Trans网络区分运动想象行为。脑机接口(BCI)系统中运动想象脑电信号的准确分类具有挑战性,深度学习已成为研究运动想象行为的有力工具,目前仍比较缺乏结合神经机制的端到端深度学习框架可以有效解决脑电数据中的长程依赖关系并准确区分运动想象信号,特别是缺乏基于个体间迁移的运动想象信号分类的通用模型。因此,本文基于多头注意力机制开发了一种新型的多尺度CNN-Trans深度学习模型应用于运动想象脑电信号的三种分类任务:左/右手运动想象(L/R)的二分类、左/右手运动想象和睁眼(L/R/O)的三分类、左/右手运动想象和睁眼及双脚运动想象(L/R/O/F)的四分类。我们基于Transformer并结合CNN结构设计了一种CNN-Transformer模块,多尺度CNN-Trans深度学习模型通过融合多个CNN-Transformer模块以提取不同时间尺度的特征信息。首先,我们采用Physionet EEG运动想象公共数据集训练测试多尺度CNN-Trans模型,基于被试间训练和3秒长样本,L/R二分类、L/R/O三分类和L/R/O/F四分类任务中的分类准确率分别为:82.68%、73.76%和63.24%;二分类准确率比其他SOTA模型提高了0.2个百分点以上,三分类准确率比其他SOTA模型提高了1.4个百分点以上,四分类准确率比其他SOTA模型提高了0.1个百分点以上。然后,我们探索了不同的尺度数对模型性能的影响,尺度数为4时模型的综合性能最好,尺度数的增加一定程度上可以提高分类能力,特别在L/R/O三分类任务中。最后,我们通过注意力权重脑地形图可视化分析发现,与感觉运动脑区对应的注意力权重显示出与μ节律和β波一致的事件相关去同步化(ERD)模式,这有助于理解模型在脑电分类时的工作机制。我们的多尺度CNN-Trans模型为理解和区分运动想象行为提供了一种新颖而有前景的方法,对促进BCI系统的发展具有积极作用。本论文通过解析多模态神经生物数据,提出了三种疾病特异性深度学习模型,实现了针对多种脑疾病及脑信号的检测识别,并发现了一些关键的生物视觉特征和类脑神经机制,为搭建多模态多任务脑疾病辅助诊断系统做了相关的基础研究工作。受数据驱动的局限性,该系统的搭建还存在一些不足的地方:缺乏对多模态数据的联合利用,及缺乏对多任务的深度学习通用框架的探索。为了进一步完善该系统,基于本论文的研究基础,未来我们将从三个方面进行更深入的探索:联合神经数据、行为数据、基因数据及临床诊治信息等多模态数据以获得更高的分类水平,开发多任务脑疾病辅助诊断系统用于脑疾病大规模筛查,融合影像学和行为学等多模态信息挖掘脑疾病相关的神经生物联合标记。


知网文化
【相似文献】
中国期刊全文数据库 前15条
1 马云飞;郑旭东;赵冉;刘慧;;深度学习的发生机制与多模态数据测评研究[J];远程教育杂志;2022年01期
2 乔雪;卢娜;;基于多模态数据的校园异常行为模型和系统构建[J];长江信息通信;2021年10期
3 张莹莹;钱胜胜;方全;徐常胜;;基于多模态知识感知注意力机制的问答方法[J];计算机研究与发展;2020年05期
4 秦放;曾维佳;罗佳伟;徐鹏;;基于深度学习的多模态融合图像识别研究[J];信息技术;2022年04期
5 林雪峰;李炜;;基于深度学习的阿尔兹海默症多模态辅助诊断研究[J];工业控制计算机;2020年03期
6 李丽娟;;多模态隐喻与企业文化记忆构建[J];人民论坛;2021年35期
7 马陈静;陈笑春;;多模态隐喻视角下我国脱贫攻坚国家形象的建构[J];青年记者;2021年22期
8 白嗣新;;高校多模态线上教学模式的研究、构建与策略——以播音与主持艺术“配音与声音艺术”课程为例[J];牡丹江教育学院学报;2021年11期
9 朱晓;卜凡凡;;国家认同的多模态话语建构——以《故事里的中国》为例[J];青年记者;2021年24期
10 郝俊雯;;多模态下的高职公共英语教学初探[J];江西电力职业技术学院学报;2021年10期
11 王飞;黄艺璠;汪鹏;;基于多模态数据的肺癌专病库建设研究[J];中国数字医学;2021年12期
12 周诗婕;车嘉琪;张文嫡;张玉良;;基于老年驾驶人的多模态集成式交互设计研究[J];汽车工程师;2021年12期
13 陈耿;;语义增强的多模态虚假新闻检测思考[J];数字技术与应用;2022年01期
14 刘清堂;李小娟;谢魁;常瑀倍;郑欣欣;;多模态学习分析实证研究的发展与展望[J];电化教育研究;2022年01期
15 周冰;;智媒视域下语言标签的多模态意义建构[J];现代传播(中国传媒大学学报);2021年12期
中国重要会议论文全文数据库 前20条
1 李瑾;;新课标背景下小学高年级英语单元作业设计的多模态探索[A];对接京津——区域发展 基础教育论文集[C];2022年
2 邢秀娟;;多模态资源背景下的高中英语教学实践分析[A];2022教育教学现代化精准管理高峰论坛论文集(高中教育篇)[C];2022年
3 史丽娟;王萌铎;桑艺昱;张喆;续欣莹;;针对多模态数据的代价敏感堆栈宽度学习系统[A];第32届中国过程控制会议(CPCC2021)论文集[C];2021年
4 王力;夏海轮;郭彩丽;;基于音视频融合的视频标题生成[A];第十五届全国信号和智能信息处理与应用学术会议论文集[C];2022年
5 皮涛;;基于多元读写能力培养的初中英语多模态写作教学模式探究[A];广东教育学会2021年度学术讨论会暨第十七届广东省中小学校长论坛论文选(二)[C];2021年
6 傅咏;;多模态初中英语综合语言运用课教学模式初探[A];广东教育学会2021年度学术讨论会暨第十七届广东省中小学校长论坛论文选(三)[C];2021年
7 杜晓;;多模态教学模式在高中英语词汇教学中的应用效果研究[A];2021教育科学网络研讨会论文集(七)[C];2021年
8 高于;苏伟伟;;探究高中英语阅读教学过程中多模态识读能力素养的培养[A];2021教育科学网络研讨年会论文集(上)[C];2021年
9 胡秀娟;王琳琳;;核心素养背景条件下的高中英语多模态阅读教学探究[A];2021教育科学网络研讨年会论文集(下)[C];2021年
10 纪莉莉;;刍议小学英语绘本阅读中的多模态教学[A];2021教育科学网络研讨年会论文集(上)[C];2021年
11 谭静;茅洁;赵婕;黄昕;肖小悦;温礼隆;;在体育领域应用多模态学习分析技术——以在AR环境下学习冬季运动项目为例[A];第十二届全国体育科学大会论文摘要汇编——墙报交流(体育工程分会)[C];2022年
12 王靖恪;;多模态视角下第十四届全运会会徽的概念隐喻建构[A];2021年“一带一路”体育文化学术大会论文摘要集[C];2021年
13 李健;奥帅;张在成;何斌;;基于多模态的装配式建筑起重伤害预警模型[A];2022年工业建筑学术交流会论文集(上册)[C];2022年
14 洪秀差;;运用多模态方式,提高英语语篇学习效率[A];2020年课堂教学教育改革专题研讨会论文集[C];2020年
15 秦婷婷;;多模态环境下的雅思听力教学[A];华南教育信息化研究经验交流会2021论文汇编(一)[C];2021年
16 陈冬霞;林泓域;高锦豪;;响应型多模态成像探针用于超氧阴离子(O_2·~-)的检测与成像[A];第十一届全国化学生物学学术会议论文摘要(第三卷)[C];2019年
17 凌秋霞;;小学英语口语多模态教学模式的有效策略探究——以PEP五年级教材为例[A];广东教育学会2019-2020年度学术成果集[C];2020年
18 陆礼春;;语言—音乐多模态语篇构建的认知功能对比研究[A];教育语言学研究第二卷 SFL与LCT专题[C];2019年
19 杨鹏鲲;;信息化背景下多模态话语分析理论在大学英语教学中的应用[A];华南教育信息化研究经验交流会2021论文汇编(六)[C];2021年
20 闫书佳;刘新伯;熊桓仟;童美松;;基于多模态算法的电力设备智能检测方法研究[A];2020中国自动化大会(CAC2020)论文集[C];2020年
中国博士学位论文全文数据库 前20条
1 谢津;基于深度学习的多模态神经生物数据解析与脑疾病识别研究[D];中国科学院大学(中国科学院深圳先进技术研究院);2022年
2 郑超群;面向高效多媒体检索的多模态哈希方法研究[D];山东师范大学;2021年
3 赵维;基于多模态影像数据的脑网络研究[D];湖南师范大学;2019年
4 曹俊亮;水下滑翔机多模态运动控制与路径规划研究[D];上海交通大学;2016年
5 汪珊;局灶性皮质发育不良的临床和影像学分析及多模态术前评估的临床研究[D];浙江大学;2019年
6 卢洪阳;清醒小动物多模态脑光学成像技术及应用[D];上海交通大学;2016年
7 胡敏;多模态靶向纳米探针在微小肝癌的诊断及光热治疗的实验研究[D];南方医科大学;2018年
8 刘曌雯;多模态生物数据分析与挖掘研究[D];西安电子科技大学;2018年
9 张灵均;多模态数据分类的模糊粗糙方法研究[D];天津大学;2017年
10 张淑美;基于数据驱动的复杂多模态过程模态识别及过程监测研究[D];东北大学;2016年
11 屈雯;基于多模态内容分析的多视角视频推荐技术研究[D];东北大学;2015年
12 马腾;基于mVEP和MI多模态脑机接口的关键技术研究[D];电子科技大学;2018年
13 年福东;基于语义先验约束的多媒体特征表示研究[D];安徽大学;2018年
14 李钊;多模态数据分类与检索的关键技术研究[D];北京交通大学;2018年
15 赵春秋;多模态纳米成像检测试剂及其应用研究[D];东南大学;2017年
16 赵亮;多模态数据融合算法研究[D];大连理工大学;2018年
17 陈飞宇;多模态情感分析算法研究[D];电子科技大学;2022年
18 张亚洲;面向多模态情感分析的类量子交互模型[D];天津大学;2019年
19 朱玲;昆剧翻译的多模态视角探索[D];苏州大学;2015年
20 章荪;面向多模态社交数据的情感分析技术研究[D];南京信息工程大学;2022年
中国硕士学位论文全文数据库 前20条
1 李朝阳;基于深度学习的多模态聚类分析[D];西安电子科技大学;2020年
2 张康;基于深度学习的多模态数据特征融合问题的研究[D];齐鲁工业大学;2021年
3 闫严;基于深度学习的多模态数据处理算法研究[D];天津大学;2019年
4 张志伟;基于图像和用户访问时序的多模态分类系统[D];上海交通大学;2020年
5 杨杰;基于自然语言特征的多模态情感分析研究[D];兰州理工大学;2021年
6 何丽;基于多模态神经网络的图文摘要生成方法研究[D];北京邮电大学;2021年
7 姚蕾萌;基于多模态磁共振影像的自闭症识别方法研究[D];北京交通大学;2021年
8 袁婷婷;多模态视域下的教材语篇分析[D];新疆师范大学;2021年
9 许婧;基于多模态交互视角下的办公产品设计研究[D];广州美术学院;2022年
10 刘源;新媒体视野下多模态教学模式在高中英语阅读中的应用[D];合肥师范学院;2022年
11 倪婧;多模态理论在农村初中英语听力教学中的应用[D];湖南科技大学;2021年
12 尚鸽鸽;积极多模态隐喻分析视野下的《厉害了,我的国》[D];西安外国语大学;2019年
13 蒋金洋;英语儿童绘本汉译中的多模态关系呈现及其影响研究[D];江南大学;2018年
14 张建亮;多模态视角下中美新闻有关雾霾报道的社会参与者再现分析[D];长安大学;2018年
15 刘银;中国反腐政治漫画中的多模态隐喻:隐喻分类与反腐主题的构建[D];北京外国语大学;2018年
16 戴姣姣;多模态批评话语分析视角下人教版初中英语课本中的性别研究[D];西安外国语大学;2018年
17 李敏;央视公益广告的多模态话语分析[D];新疆财经大学;2019年
18 吴良庆;面向多模态信息的情绪分类方法研究[D];苏州大学;2020年
19 宫雪莹;多模态隐喻在公益广告《不该》中的应用[D];哈尔滨师范大学;2021年
20 严木兰;多模态视角下的初中英语阅读教学的实验研究[D];赣南师范大学;2019年
中国重要报纸全文数据库 前20条
1 苏州大学跨文化研究中心 朱玲;探索多模态视角下的戏曲外译[N];中国社会科学报;2022年
2 记者 戴丽昕;共融机器人多模态转变成为发展趋势[N];上海科技报;2017年
3 记者 张建列 通讯员 冯春;深圳先进院研制出新一代多模态显微系统[N];广东科技报;2016年
4 本报记者 郭钇杉;京东数科发力多模态AI技术[N];中华工商时报;2020年
5 刘强 本报记者 乔地;IP网络遭遇困局 多模态智慧网络是未来发展方向[N];科技日报;2020年
6 本报见习记者 辛雨;成像设施,有“图”有“真相”[N];中国科学报;2019年
7 本报记者 顾鸿儒;人工智能尚未到来 多模态融合成为趋势[N];中国电子报;2019年
8 浙江大学教授 胡晓云 本报记者 孙鲁威;坚持多模态产业模式[N];农民日报;2011年
9 记者 李玉;信息技术深化多模态话语研究[N];中国社会科学报;2017年
10 记者 刘垠;在分子水平上认识疾病[N];大众科技报;2009年
11 本报记者 华凌;探究生命与物质奥秘,中国再铸两把“利器”[N];科技日报;2019年
12 华侨大学华文学院 马伟忠 王艺文;构式语法研究的新动向——多模态构式语法[N];中国社会科学报;2018年
13 姜月华 顾轩 程和琴;多模态传感系统助力长江沿岸水利工程防护[N];中国矿业报;2021年
14 哈尔滨工程大学外国语学院 赵恺航 中国语言战略研究中心 毛延生;内外兼证:身份研究中的方法融合[N];中国社会科学报;2022年
15 本报记者 周萃;深圳调查:“科技+金融”深度融合之后[N];金融时报;2018年
16 本报记者 喻思南;今后,刷脸更准更安全[N];人民日报;2020年
17 记者 林小春;自闭症可能不只是大脑疾病[N];健康报;2016年
18 本报记者 罗朝淑;多模态神经成像:让大脑病灶无处可逃[N];科技日报;2010年
19 实习生:张洁 记者 :王春;探秘人类灵性家园[N];科技日报;2006年
20 本报记者 崔爽;标准出海 刷脸支付将更安全[N];科技日报;2020年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978