运动人手的三维跟踪方法研究

【摘要】：运动人手三维跟踪是人机交互(Human Computer Interaction，HCI)研究中的一个基础性和关键性研究课题，它涉及到计算机图形图象处理、人机交互理论、计算机视觉、射影几何学、预测估计方法学、软计算理论等众多交叉学科，对其进行深入研究，对于深化智能HCI的理论和应用，尤其是在虚拟现实中的应用，对于推进相关学科的应用研究，都具有重要意义。 基于模型的运动人手三维跟踪的主要任务是：连续地获取与每帧人手图像相对应的三维人手的姿态和位置，为实现和谐、自然、方便的HCI界面打下基础。在多目视觉条件下，可以根据对应特征点进行三维跟踪，得到当前帧的三维手势；在单目视觉条件下，由上一时刻的三维手势和当前时刻的帧图像，预测和滤波当前时刻的三维手势。 不仅手势本身具有多样性、多义性以及时间和空间上的差异性等特点，而且人手是复杂的多链节体，并且人手具有高自由度以及指骨的尺寸比较小，更由于在人手跟踪过程中存在自遮挡现象和病态问题，因此，基于计算机视觉的手势跟踪与识别是一个极富挑战性的研究课题，面临错综复杂的矛盾和问题。本研究以“虚拟样机若干关键技术及其典型应用研究，国家863计划项目(2002AA411310)”等重大专项为依托，对基于计算机视觉的运动人手三维跟踪过程中的一些关键问题进行探讨。 这些关键问题主要包括：在单目视觉条件下，当人手的运动状态发生突然改变时，EKF滤波跟踪器将丧失跟踪能力；人手自遮挡问题处理方法的时间开销和处理精度亟待进一步改善；三维人手模型的初始化工作大部分仍然靠手工完成，模型的正确性和精度无法得到保证；基于经典模式识别的理论和方法已经不能很好地满足HCI中识别形变手势之需要。本文主要针对上述关键性问题展开研究，主要贡献包括以下几点： (1) 针对人手运动状态突变情况下运动跟踪所存在的问题，提出一种新的强跟踪滤波算法。 这种强跟踪滤波器算法的主要特征在于，通过实时在线调整状态预报误差的