自然环境下头部姿态估计方法的研究与应用

【摘要】：头部姿态估计是计算机视觉和人工智能领域中的重要研究问题,近年来受到了越来越多的学者关注。头部姿态是判断人类行为和理解人类行为的关键。因此,头部姿态作为研究和理解学生课堂学习行为的关键,是现代智能化课堂教学管理系统中非常重要的教学信息提取的中心内容。在教育大数据时代,现代智能化课堂教学管理系统除应满足传统管理系统的数据处理和管理功能外,还应该包括：智能监控、信息提取、决策评价等功能。而自然环境下的头部姿态估计是实现相关智能监控和信息提取的关键技术,也是其决策评价的客观依据。在计算机视觉领域,头部姿态估计通常被理解为在数字图像中判断头部的方向,其目标是在一个全局坐标系统内通过图像识别的方法判断头部姿态的参数,即,头部的位置信息和方向信息。由于头部姿态估计的广泛应用前景,近年来,许多研究者进行头部姿态估计的研究,并已取得了不错的成绩。但是在自然环境下尤其是课堂大场景下,头部姿态估计的研究还是面临着许多的挑战。例如,背景复杂,光照变化,姿态遮挡,表情变化,运动干扰等。在实际的教学管理应用中,智能化系统对于头部姿态估计的性能要求越来越高,尤其对于非约束的自然场景下的识别率和鲁棒性颇受关注。因此,本文主要研究目标是在自然场景下提出兼顾准确率和速度的离散和连续头部姿态估计的方法,并开发了基于头部姿态估计和分析的智能化课堂教学管理系统,具体的研究内容包括：(1)非约束环境下的基于分层学习的离散头部姿态估计；(2)大场景下的基于混合特征和权重投票决策的头部姿态估计；(3)自然场景下的基于迭代回归算法的连续头部姿态估计；(4)基于头部姿态估计和分析的课堂教学管理系统。本博士论文为解决现代智能化教学管理系统中课堂学习行为提取的难点问题,率先开展了自然场景下尤其是课堂大场景中的多人头部姿态估计方法的研究,并开发了基于学习者头部姿态估计和分析的课堂教学管理系统。取得的主要贡献有：(1) 本文将Dirichlet-tree概率分布模型引入随机森林中,提出了Dirichlet-tree增强随机森林(Dirichlet-tree distribution enhanced random forest,D-RF)的头部姿态估计方法,对于自然环境下的两个自山度旋转的多类头部姿态估计有较好的效果。正、负人脸子区域块的分类作为D-RF的先验信息,可以减少环境噪声的影响。三个公共数据集上的测试实验表明本文方法比现有的先进算法具有更好的估计准确率和实时性。(2) 本文提出更加鲁棒和强区分力的复合纹理和几何特征模型(包括基于Gabor特征的PCA主成分、Sobel边缘特征、LBPH特征、灰度特征和两个几何约束模型),用以在大场景下低分辨率图像的头部姿态估计,很好地解决了大场景中遮挡和低分辨率的影响,提高了D-RF估计的准确率和运行速度。(3) 本文提出了一种回归迭代的学习算法用以自然环境下的连续头部姿态估计。该算法分为二个部分：首先,我们提出了基于D-RF级联算法的人脸特征点检测,可以精确定位不同头部姿态下的多个人脸特征点的位置；然后,我们提出了迭代回归的方法用以更新精确的头部姿态分类、特征点位置和头部姿态的旋转角度。不同的数据集上的测试实验表明本文的方法比现有的先进算法具有更好的准确率和实时性。(4) 本文研究和开发了一套基于头部姿态估计和分析的课堂教学管理系统,包括智能签到模块、课堂交互模块和头部姿态估计和分析子系统,并提出了一个新颖的基于单目摄像机的多人注意力分析模型,为课堂教学管理系统系统提供客观的学习行为数据。为了更好的进行系统评估和分析,本文还建立了一套课堂自然场景下的头部姿态数据集。实验结果表明我们提出的系统和方法能够客观准确地对课堂上多名学生的课堂注意力和学习交互行为进行监控与分析。