视频人脸跟踪识别算法研究

【摘要】： 视频人脸的跟踪识别是计算机视觉领域的一个核心问题,该技术近年来越来越受到研究人员的广泛关注,这主要是因为视频人脸的跟踪识别有着广泛的应用前景,比如视频会议、人机交互、司法鉴定,视频监控,以及门禁控制等等。视频人脸跟踪识别的研究目的是模拟人类视觉运动感知功能,赋予机器辨识序列图像中运动人脸的能力,为视频分析和理解提供重要的数据依据。视频人脸的跟踪识别往往由于背景和人脸的各种变化而变得非常困难。尽管人们对视频人脸的跟踪识别进行了比较广泛的研究,并提出了一些有效的跟踪识别方法,但是针对视频序列中人脸的各种变化,如光照、表情、姿态变化以及发生部分遮挡等,开发出一套鲁棒的跟踪识别算法仍存在较多困难。 视频人脸的跟踪识别系统主要包括人脸的跟踪和识别两个方面,跟踪和识别是相辅相成的过程。论文针对如何有效地提高视频跟踪识别的鲁棒性和精确性问题进行了重点研究。在训练数据为有限的静态图像,测试数据为视频序列的情况下,重点研究了如何使跟踪和识别采用相同的模型,在跟踪和识别同时进行表面模型的更新,采用粒子滤波将二者有机地结合成一个整体,同时完成跟踪和识别;在训练数据和测试数据都为视频序列时,重点研究了如何通过鲁棒的特征提取方法有效地提高人脸在表情、姿态、光照发生变化情况下的识别精度,同时在跟踪识别过程中还使二者采用相同的表面模型,提高跟踪和识别的性能。 本文的主要研究成果如下: 1.针对训练数据为有限的静态图像,测试数据为视频序列的情况,提出了基于自适应特征子空间的视频人脸跟踪识别方法。该方法将身份变量与运动变量一起形成状态变量,采用粒子滤波方法同时完成跟踪和识别。在测试过程中,采用子空间更新算法自适应地更新被识别人脸的特征子空间,提高跟踪和识别性能。 2.针对识别过程中噪声的影响,提出了基于鲁棒统计技术和路径相似度测量的鲁棒局部保留映射方法。传统的局部保留映射方法没有考虑噪声和异常观测点的影响,本文提出的鲁棒局部保留映射方法则考虑了它们的影响。该方法首先建立一个全连接图,图中的每一节点对应一个训练数据,求出全连接图中任意两个节点的相似性;然后采用鲁棒统计技术估计出每个节点的权重,权重越小,该节点为噪声或异常观测点的可能性就越大;再利用路径相似度的思想,结合节点的权重,求出任意两个节点的相似度,组成相似矩阵,相似矩阵中的值能够真实地反映在噪声和异常观测点存在的情况下节点的相似性;最后将得到的相似矩阵用于局部保留映射方法中,求出投影矩阵,进行人脸识别。该方法能够提高识别的精度。 3.根据训练数据的类信息有助于提高识别结果的思想,提出了有监督的鲁棒局部保留映射方法。该方法首先利用鲁棒统计技术和路径相似度测量的思想,得出任意两个节点的相似度;然后,根据训练数据的类信息,调整节点的相似度,得到相似矩阵,该相似矩阵综合了节点的几何相似性和类信息;最后将得到的相似矩阵用于局部保留映射方法中,求出投影矩阵,进行人脸识别。试验结果表明,该方法能够有效地提高识别精度。 4.针对视频人脸识别过程中人脸的各种表情、姿态等变化对识别性能的影响,提出了基于鲁棒局部保留映射的视频人脸跟踪识别方法。该方法首先采用局部线性镶嵌技术将每一对象的训练视频图像投影到低维空间中,在低维空间中采用均值聚类,将人脸图像分成一些基于不同姿态或表情的类,同时学习对象的动态特性;然后,在每一组图像集合中,采用鲁棒局部保留映射方法,求出线性特征空间来近似非线性的子流形;最后,在测试过程中使跟踪和识别采用相同的外表模型,并将前一帧识别出的对象的外表模型用于跟踪似然函数的求取,利用粒子滤波算法进行人脸的跟踪,同时采用贝叶斯推论完成识别。 以国家科技攻关计划-世博科技专项为应用背景,基于现有的以及本文提出的人脸跟踪识别方法,开发了一套人脸跟踪识别软件,进行技术演示和开发论证。