基于不变性特征的三维人脸识别研究

【摘要】：作为生物特征识别领域的一个重要研究课题,人脸识别因其深厚的学术背景和广泛的市场应用前景,正在成为国内外顶级研究机构和学者关注的焦点。随着图像处理、模式识别、计算机视觉、统计学习、认知学及心理学等众多相关学科领域研究发展地不断深入,人脸识别技术将成为可以广泛应用于国家安全和公共安全的重要技术支撑手段。尽管以人脸图像的表观特征为基础的二维人脸识别技术已有十余年的研究历史,但是仍存在许多悬而未决的问题,制约了识别准确率的有效提高,尤其是存在大的光照、姿态和表情变化时,二维人脸识别算法准确率的下降更为显著。 随着三维数字获取设备的不断发展,越来越多的研究组织和机构致力于使用三维数据辅助人脸识别,取得了较好的效果,尤其是有较大的姿态、光照和表情变化影响时,基于形状特征的三维人脸识别技术有望从根本上解决这些变化数据的影响。高效地提取三维人脸表面不变性特征是人脸识别准确率提高的核心和关键。一个“好”的辨别特征能够有效地描述某个个体面部区别于大众的细节特征,为实现准确高效的人脸识别打下基础。本文在对三维人脸数据进行细致深入分析的基础上,对三维人脸表面特征描述进行深入地研究和探讨,结合基于三维人脸图像的表面形状特征及统计学习理论提取具有不变性的辨别特征,取得了较好的效果。本文的主要研究内容和创新性工作如下： 1.提出了一种三维人脸预处理及区域分割方法 首先通过二维图像和三维图像的对应关系粗略地提取人脸表面区域,运用三维人脸模型的对称轮廓线检测鼻尖点,去除人脸区域之外的杂乱数据。姿态校正和基于轴角描述的匹配对齐将三维人脸表面数据置于统一的坐标框架中。形状索引描述结合面部几何约束分割人脸表面主要器官区域。本文提出的三维人脸自动预处理方法有助于后续特征提取和分类识别算法的实现,既提高了算法的计算效率,又改善了原始输入的三维人脸数据的质量。 2.提出了三种三维人脸表面特征描述方法 1)提出了一种基于弯曲不变量的三维人脸表面描述子,用于包含表情变化的三维人脸识别。人脸表面的表情变换视为非刚性变换,经验研究显示面部表情可视为等距形变。因此引入弯曲不变量用来构建一个人脸表面的签名。此法在采样点集上使用等距映射算法(ISOMAP)将由表情引起的非刚性形变变换为刚性形变,再在全集点上进行内插。实验结果显示基于弯曲不变量的三维人脸表面特征描述方法有效地提高了包含大表情变化的三维人脸数据的识别性能,克服面部存在表情变化造成的人脸表面变形问题； 2)提出了一种基于边界球的三维人脸表面描述子,对于包含姿态变化的三维人脸数据具有较好的识别效果。为了更好地反映人脸表面形状信息增加辨别性,一个边界球表面描述子用于对齐的三维人脸点云数据。该描述子投影一个面部点云相对位置到以人脸质心点为中心的边界球上。它可以保留较低的描述性,对比其它描述子可以更有效地在一个旋转球域上反映面部特征,使其对大的表情和姿态不敏感。实验结果表明基于边界球的三维人脸表面描述子可以保留尽可能多的几何信息,提取与姿态无关的特征描述子,克服因存在姿态变化而造成的自遮挡对三维人脸识别算法性能的影响； 3)提出一种三维尺度不变特征变换的三维人脸表面描述子,可以克服遮挡和扭曲对三维人脸识别效果的影响。该描述子具有仿射、旋转和尺度不变性,它可以有效地检测关键点,编码三维人脸表面形状信息来描述关键点的辨别信息。加入深度信息的动机是关键点周围深度值的改变可以为其提供更多辨别能力,但对于实际存在差异的对象识别上具有视觉表观相似性。实验结果表明基于三维尺度不变特征变换的三维人脸特征描述方法可以有效地表征扭曲和变形图像,恢复三维人脸表面上的本质特征,提取辨别信息,提高三维人脸识别算法性能。 3.提出了一种鲁棒的区域稀疏回归模型用于辨别特征提取 表情、姿态、遮挡和噪声是影响三维人脸识别准确率提高的主要因素。引入低秩和区域稀疏描述理论来分析前文所提出的特征描述子。结合带噪声的非线性约束和有监督的谱回归约束,基于优化模型的本征低维特征矢量被提取。头发遮挡和噪声被同时分块处理。提取的低维特征具有更多的辨别性、鲁棒性和通用性。实验结果表明基于区域稀疏回归模型所提取的三维人脸本征低维特征向量,具有良好的三维数据表达能力,与国际通用的三维人脸识别算法进行性能对比时,显示出了优越的性能。 4.设计并实现了一个三维人脸识别系统 为了实现有效地三维人脸数据采集并验证前文所提算法的通用性,本文构建了相应的三维人脸识别系统,主要由基于双目视觉的三维人脸识别系统和基于结构光的三维人脸识别系统组成。首先介绍了基于双目视觉的三维人脸深度信息的获取方法。然后介绍并演示了系统中的主要软件功能模块包括图像采集、摄像机标定、三维人脸模型生成、三维人脸模型平滑、三维人脸模型预处理、三维人脸特征描述和三维人脸特征提取,这些为进一步开发和研究三维人脸数据处理和识别奠定了良好的基础。