基于混合现实的航空医学模拟训练关键技术研究

【摘要】：我国各类事故隐患和风险交叉叠加,亟需加强应急医学救援能力。建立一个适于国情的、以直升机为主要载体的航空医学应急救援体系已迫在眉睫。近年来,混合现实(Mixed Reality,MR)技术突飞猛进、混合现实技术走进许多行业,在医疗领域发展最为迅猛,同时混合现实技术的发展也加快了医疗相关移动设备的更迭,在航空救援和医学培训方面添加混合现实技术也让人们眼前一亮。本文主要研究航空医学模拟训练的关键技术——虚实配准技术,该技术主要分为两种,点云配准技术与基于视觉的标记物配准技术,对此,本文验证两种虚实配准方法,并在前人基础上提出创新的基于标记物的虚实配准算法网络。能够满足模拟训练高动态环境下的实时性需求。论文主要工作如下:(1)首先本文尝试使用点云配准的方式完成虚实配准,通过研究虚实配准中的相关空间定位技术,单目视觉以及基于RGB的SLAM技术,设计了基于点云的无标记配准的实验流程,通过对比本地特征库以及使用ICP算法检测的特征进行匹配,实验结果表明使用无标记的ICP算法配准能很好的完成虚拟模型与实物的匹配,但是实时跟踪效果不佳。(2)为解决实时跟踪效果不佳的问题,研究了虚实配准中基于标记物的匹配算法,选取容错能力较强的QR码作为标记物,根据目标检测网络YOLO v4以及YOLO v4-tiny网络结构,找到适合移植到Holo Lens2移动端的轻量型网络,提出了改进YOLO v4-tiny的创新算法,用计算量较小的Res Block-D模块替换骨干网络中的两个CSPBlock模块,以进一步减少计算量,增加检测与跟踪的速度。随后使用外接摄像头的方法在电脑端进行实验,最后得出结论,模型容量降低了13.1%,数据容量进一步减小13%,数据量显著减少24%,复杂度大大降低,解决了移动端算力不高的问题,从而将三维点云配准转为图像识别,使其更适配于移动设备Holo Lens2,同时解决了三维点云配准跟踪效果不佳的问题。(3)搭建系统实验环境,将本文提出的创新算法集成在Unity开发工具中,最后实现基于标记物的虚拟现实配准。虚拟模型能够与实物进行检测和跟踪,相较于之前提到的基于点云的配准,这种配准技术鲁棒性更好,使受训人员能更好的完成模拟训练,解决了航空救援环境下动态配准与跟踪的问题。