收藏本站
《浙江大学》 2015年
收藏 | 手机打开
二维码
手机客户端打开本文

基于强化学习的植入式脑机接口神经信息解码:算法设计及应用

汪芳  
【摘要】:脑机接口直接将大脑的运动信息解析成外部设备的控制指令,实现了大脑与外界环境的直接交互,为残障患者重建运动功能提供了一种新的途径。目前主要的神经解码算法分为基于监督学习和基于强化学习两大类。相比于基于监督学习的解码模型,基于强化学习的神经解码的特点在于:(1)无需实际的用户肢体行为数据;(2)允许用户通过试错的方式学会动态地操控外部设备。这类解码算法可以追踪到时变的神经活动,并实现用户和解码器的相互适应,能够保持长期稳定的解码性能。目前,该方向的研究主要集中在离散、简单的任务上。但是,脑机接口任务日益复杂多样,传统的强化学习算法难以满足其解码要求,而尚无针对复杂任务的强化学习解码算法的相关研究报道。本文研究基于强化学习的神经解码关键技术,聚焦于连续、复杂任务中状态-动作空间大而探索困难,时间信用分配导致学习速度慢,以及神经信号中混有噪声导致自适应解码性能降低等存在的难点问题。针对上述挑战,本文采用高效的强化学习算法探索复杂的神经状态-动作空间,重建连续的运动轨迹;结合核自适应滤波器理论,设计新的解码算法实现非线性解码的全局最优解;引入相关熵抑制噪声对自适应解码性能的影响,从而实现鲁棒、稳定的神经解码。本文的主要研究内容及创新点如下:1.针对复杂神经状态-动作空间中探索困难的问题,本文提出采用attention gated reinforcement learning (AGREL)算法预测center-out任务中连续的2D摇杆轨迹。AGREL利用即时奖赏更新参数而不易受初始值影响,以及softmax策略依据概率选择最优与次优动作以避免解码性能的波动。与传统的Q学习算法相比,AGREL将预测轨迹和真实轨迹之间的相关系数提高了5.88%,均方误差则降低了41.66%,平均总目标到达率提高了28.01%。此外,相比于静态模型,自适应的AGREL保持多数据段的解码精度在85%以上,延长了脑机接口系统的使用时间。2.针对以往方法只分配时间信用而导致训练时间过长的问题,本文提出空间信用分配,实现在多物体的复杂环境中区分潜在目标。结合AGREL高效的误差信号机制与核自适应滤波器理论,本文首次设计了quantized attention gated reinforcement learning (QAGKRL)算法,实现非线性神经解码的全局最优解。该算法还利用量化方法压缩神经网络的拓扑结构以降低计算复杂度。与AGREL相比,QAGKRL在避障任务中的平均成功率显著提高,保证了解码的准确性和稳定性。3. 针对由神经信号中噪声降低解码精度的问题,本文引入最大相关熵准则作为AGREL和QAGKRL的优化函数,能够降低解码模型对异常值等噪声的敏感性,从而提高解码性能。基于最大相关熵准则的AGREL和QAGKRL在避障任务中的平均总成功率分别提高了12.56%和6.08%。综上所述,本文尝试解决了基于强化学习的脑机接口中连续、复杂任务的神经状态-动作空间探索困难问题、空间信用分配问题以及神经信号的降噪问题。本文深入探索了一系列基于强化学习的解码算法,并应用于复杂多样的任务,实现了稳定、鲁棒的神经解码,为脑机接口的未来发展打下了坚实的基础。
【学位授予单位】:浙江大学
【学位级别】:博士
【学位授予年份】:2015
【分类号】:R318;TP181

【参考文献】
中国博士学位论文全文数据库 前1条
1 张巧生;基于猴子M1区的腕部解码系统研究[D];浙江大学;2012年
【共引文献】
中国博士学位论文全文数据库 前4条
1 汪芳;基于强化学习的植入式脑机接口神经信息解码:算法设计及应用[D];浙江大学;2015年
2 胥凯;植入式脑机接口中神经元重要性评估及锋电位的高效解码[D];浙江大学;2015年
3 廖玉玺;植入式脑机接口神经元锋电位的时变特征分析与解码研究[D];浙江大学;2014年
4 郝耀耀;猴子伸—抓动作在大脑运动皮层中的表征及解码[D];浙江大学;2013年
【相似文献】
中国期刊全文数据库 前10条
1 奇云;李大可;;脑机接口——2012年生命科学研究的六大突破之一[J];生命世界;2013年05期
2 刘德建;李奇;;脑机接口原理及系统组成[J];科技风;2013年16期
3 胡剑锋;尹晶海;穆振东;;基于脑电的脑机接口刺激系统的研制[J];信阳师范学院学报(自然科学版);2007年03期
4 槐瑞托;杨俊卿;李东;;脑机接口中脑电信号提取方法和技术的研究进展[J];生命科学;2010年04期
5 方陵生;;脑机相连,梦想成真[J];自然与科技;2012年01期
6 ;脑机接口让猴子控制虚拟手臂助瘫痪病人恢复运动[J];黑龙江科技信息;2013年31期
7 ;通过脑电波进行3D打印[J];科学24小时;2013年10期
8 王洪涛;邹鹤良;;基于事件关联电位脑机接口的电视遥控异步系统[J];控制理论与应用;2012年11期
9 李文石;钱重阳;李雷;魏锋;;让耳朵说话:基于单通道耳穴近红外谱的脑机接口(英文)[J];南京大学学报(自然科学版);2012年05期
10 黄志华;;脑机接口的MapReduce计算模型[J];福州大学学报(自然科学版);2013年06期
中国重要会议论文全文数据库 前10条
1 钱久超;夏斌;杨文璐;;基于P300诱发电位的脑机接口技术研究综述[A];全国第21届计算机技术与应用学术会议(CACIS·2010)暨全国第2届安全关键技术与应用学术会议论文集[C];2010年
2 ;脑机接口数据竞赛[A];首届全国功能神经影像学和神经信息学研讨会论文汇编[C];2003年
3 岳鹏;苗丹民;邱玉辉;;一种眼动型脑机接口的设计原理[A];计算机技术与应用进展——全国第17届计算机科学与技术应用(CACIS)学术会议论文集(下册)[C];2006年
4 何庆华;吴宝明;王禾;卓豫;;脑机接口视觉剌激方法实验研究[A];中国生物医学工程进展——2007中国生物医学工程联合学术年会论文集(下册)[C];2007年
5 周鹏;赵欣;葛家怡;李宁;郁洪强;王明时;;基于运动想象的脑机接口的个性化设计方法研究[A];天津市生物医学工程学会2008年年会暨首届生物医学工程与临床论坛论文集[C];2008年
6 郭苗苗;徐桂芝;王磊;王江;;基于小波变换的听觉脑机接口特征信号分析[A];天津市生物医学工程学会第三十一届学术年会论文集[C];2011年
7 贾文艳;赵香花;高小榕;高上凯;杨福生;;2003年脑机接口数据竞赛论文之五——想像左右手运动的单次脑电信号分类[A];首届全国功能神经影像学和神经信息学研讨会论文汇编[C];2003年
8 何庆华;吴宝明;王禾;钟渝;杜晓兰;彭承琳;;瞬态视觉诱发电位在脑机接口中的实验研究[A];中国生物医学工程学会第六次会员代表大会暨学术会议论文摘要汇编[C];2004年
9 高小榕;;脑机接口中的信息传输技术[A];Proceedings of the 8th Biennial Conference of the Chinese Society for Neuroscience[C];2009年
10 张少白;陈悦;;脑皮层信号ECoG在脑机接口中的应用研究[A];第25届中国控制与决策会议论文集[C];2013年
中国重要报纸全文数据库 前10条
1 本报记者 罗朝淑;脑机接口:唤起神经康复的新希望[N];科技日报;2011年
2 常丽君;脑机接口让猴子成功控制虚拟手臂[N];科技日报;2013年
3 叶平安;脑机接口:人与电脑的桥梁[N];电脑报;2014年
4 本报记者 马文方;脑机接口:互联网遥远的疆界[N];中国计算机报;2010年
5 实习生 陈明立;脑机接口,开启“心灵感应”时代[N];科技日报;2010年
6 本报记者 孙燕燕;洪波:脑机接口传递思维[N];北京科技报;2010年
7 记者 李鹏;“脑机接口”实验:意识控制成真[N];北京科技报;2012年
8 松鼠会;脑机接口 不只是科幻[N];科学导报;2012年
9 安之;未来至上在创“芯”[N];经济日报;2014年
10 记者 陈宁 通讯员 周炜 杨洋;“鼠哥”眼光出众的奥秘[N];浙江日报;2013年
中国博士学位论文全文数据库 前10条
1 赵慧霞;蜜蜂(Apis mellifera L.)脑机接口的飞行控制神经机理研究[D];浙江大学;2014年
2 王洪涛;混合脑机接口实现及其应用研究[D];华南理工大学;2015年
3 汪芳;基于强化学习的植入式脑机接口神经信息解码:算法设计及应用[D];浙江大学;2015年
4 刘伯强;脑机接口分类算法及实验研究[D];天津大学;2005年
5 余天佑;多模态与多自由度脑机接口研究[D];华南理工大学;2013年
6 吴正华;稳态视觉诱发电位在脑机接口及认知过程中的应用研究[D];电子科技大学;2008年
7 程明;基于脑电信号的脑—计算机接口的研究[D];清华大学;2004年
8 龙锦益;脑信号分析的算法研究与多模态脑机接口[D];华南理工大学;2012年
9 朱丹华;基于稳态视觉诱发电位相位的脑机接口研究[D];浙江大学;2011年
10 何庆华;基于视觉诱发电位的脑机接口实验研究[D];重庆大学;2003年
中国硕士学位论文全文数据库 前10条
1 李佳乘;基于稳态视觉诱发电位脑机接口系统的脑信号处理与研究[D];华南理工大学;2015年
2 张锦涛;P300脑机接口的在线半监督学习算法与系统研究[D];华南理工大学;2015年
3 吴俊;EEG-fMRI混合脑机接口去噪及信号源定位技术研究[D];华南理工大学;2015年
4 赵萍萍;基于伪随机序列的彩色视觉刺激的脑机接口系统[D];苏州大学;2015年
5 张玉霞;基于P300和SSVEP的混合型脑机接口的分析与研究[D];山东大学;2015年
6 刘杨;脑机接口信号的多模式识别融合技术研究[D];重庆理工大学;2015年
7 贵照众;流程可配置分布式运动脑机接口计算平台的研究与实现[D];浙江大学;2015年
8 马超;基于单通道脑机接口的嵌入式智能轮椅控制系统研究[D];广西大学;2015年
9 李茂全;基于VEP的脑机接口系统设计与研究[D];南昌大学;2015年
10 赵淑菊;基于脑机接口车辆目的地选择系统的性能测试和影响因素分析[D];北京理工大学;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026