增强现实辅助维修关键技术研究

【摘要】：增强现实技术应用于复杂装备维修,为用户提供了一种身临其境的“虚实结合”的维修环境和更加直观灵活的操作方式,对于缩短装备维护周期、提高维修效率、降低维修成本具有重要意义。开展增强现实辅助维修关键技术研究,对改进维修对象自然特征识别、跟踪注册以及人机交互等相关算法,优化增强现实辅助维修系统设计与实现具有重要的指导意义和参考价值。本文在对国内外增强现实辅助维修研究发展动态分析基础上,对增强现实辅助维修原型系统实现过程中涉及的自然特征识别、跟踪注册、手势识别以及评价方法等关键技术进行了研究,取得了一些创新性研究成果。针对增强现实辅助维修场景中的维修对象多视角快速识别问题,利用维修对象2D图像的边缘方向直方图描述其典型全局特征,利用角点描述其外观的独特性和差异性特征,构建了基于角点-边缘复合特征的维修对象自然特征识别方法,利用分类器训练复合特征得到多分类模型,利用基于K-D树的类内匹配进行准确定位,实现了维修对象的快速识别与定位,为开展增强现实辅助维修系统无标志物条件下的维修部组件跟踪注册技术研究奠定基础。针对增强现实辅助维修中无标志物条件下的跟踪注册问题,利用识别定位结果设定感兴趣区域,构建了粒子滤波框架下的基于压缩感知特征描述的感兴趣区域跟踪算法。通过提取维修对象纹理特征和灰度均值特征,并将二者综合作为特征表示模型,利用粒子滤波对感兴趣区域进行跟踪,并在跟踪过程中根据目标区域变化情况实时更新参考特征向量,克服了基本粒子滤波跟踪方法跟踪精度差以及目标形态变化适应性差等问题,提高了跟踪注册的实时性与鲁棒性。其次,利用视频帧感兴趣区域目标平面上随机点对的特征值差异性构造描述子,求解单应性矩阵得到维修对象3D虚拟模型的2D投影矩阵,实现了真实维修场景与虚拟信息的“虚实结合”效果。针对增强现实辅助维修中人机交互的各类手势指令识别问题,基于辅助维修状态分析,提出了一种增强现实维修环境下的裸手手势识别方法。利用肤色累计方法在YCbCr颜色空间对图像进行手势分割,综合手势形状和位置状态信息,将手势划分为静态手势和动态手势,分别提取基于图像属性的静态手势特征和基于方向编码的动态指尖特征,而后将上述手势特征向量输入到支持向量机进行训练并得到识别模型。通过丰富多样的手势语义,可有效捕捉、分析、处理及识别各类手势指令信息,实现了提示信息的翻页、选择、拉伸、缩放等人机交互功能。针对增强现实辅助维修现有评价方法缺乏指标的完备性与系统的验证手段,在实验室条件下搭建了一套ARSAM原型系统,重点研究了光学透射式头戴显示器光学系统小型化设计与基于自由曲面棱镜的视频透射式头戴显示器轻量化设计,结合具体维修活动,设计实现了传统维修方法与ARSAM原型系统的主观评价实验,为进一步优化增强现实辅助维修系统设计、改进人机交互手段提供了评价手段。研究增强现实辅助维修原型系统实现过程中的关键技术对现有自然特征识别、跟踪注册、手势识别等相关算法研究和系统实现具有重要的指导意义,对增强现实技术应用于复杂装备维修,提高维修保障效率具有重要的理论意义和实用价值。