收藏本站
《浙江大学》 2005年
收藏 | 手机打开
二维码
手机客户端打开本文

人脸感知:基于学习的人脸跟踪与合成

苏从勇  
【摘要】:人脸感知可由分析与合成人脸两部分构成。人自身对人脸非常熟悉和敏感。人可以轻而易举地识别出不同的人脸、不同的人脸表情,并可在脑海中浮现出不同人脸的形状,艺术家可以描绘出神态各异的人脸。然而这种对于人来说与生俱来的分析与合成能力对计算机而言却非常地困难。机器学习提供了一种可能的解决途径。 本文围绕人脸这个对象,以基于学习的方法为主线,研究了基于视频流的人脸运动数据获取的分析算法和基于图像的人脸建模、超分辨率、表情幻想等合成算法。 文中首先讨论了基于图像的个性化人脸建模。提出一种基于合成分析的个性化人脸三维模型建模方法,通过分析合成的人脸图像纹理与输入图像纹理的差异,使用纹理差异来指导对人脸网格进行局部自适应细分,进而对合成的人脸三维模型不断地调整,从而使得最终生成的人脸三维模型具有更高的真实感。 为了从视频流中提取基于人脸面部特征的运动数据,本文研究了人脸多特征跟踪算法。先后提出了基于贝叶斯网络增强预测模型的跟踪方法和基于时空概率图模型的跟踪方法。后者将传统的单特征跟踪器——粒子滤波与信任度传播算法成功地结合在一起。首先在时间域上,使用几个相互独立的Condensation类型的粒子滤波器分别跟踪人脸的每个特征。粒子滤波对独立的视觉跟踪问题非常有效,但是多个独立的跟踪器忽视了人脸的空间约束和人脸特征间的自然相互联系。然后在空间域上,事先从人脸表情库中学习人脸特征轮廓的相互关系,使用贝叶斯推理—信任度传播算法来对人脸特征的轮廓位置进行求精。 有些已经存在的视频流中人脸区域太小,以至于无法对人脸特征进行有效的跟踪,为此本文对图像中的人脸进行了超分辨率(Super-resolution)研究。提出基于steerable金字塔和贝叶斯估计的人脸超分辨算法。采用steerable金字塔学习人脸图像中的低层次局部特征的空间分布,并结合塔状的父结构和局部最优匹配算法来预测最佳先验模型;然后将先验模型结合到贝叶斯最大后验概率框架中;最后使用最速下降法(Steepest Descent)求出最优的高分辨率人脸图像。 基于人脸照片总是具有最高的真实感这一出发点,为了合成具有真实感的未知人脸表情,本文提出人脸表情幻想(Hallucination)的新方法。给定某个人中立的人脸图像,可以使用流形学习等方法预测出他的其它表情人脸图像。与现有的表情克隆或者图像类比方法不同,本文在一个人脸表情库的帮助下来幻想出合理的人脸表情。在第一步中,使用非线性流形学习来获取对未知人脸表情 的一个平滑估计。在第二步中,使用马尔可夫网络来学习训练库中中立与具有 表情的残差人脸图像中低层次人脸特征的相互关系,然后使用信任度传播算法 来推理出该人的具有表情的残差人脸图像。通过把这两步结合在一起,获得最 终的结果。 在每一章的实验部分,给出了对如上人脸感知—人脸跟踪与合成算法的 分析和原型实现。另外一些相关算法也逐步集成到正在构建的基于视频流的真 实感人脸动画系统中。 关键词:模式识别,计算机视觉,机器学习,图像/视频理解,人脸分析与识 别,人脸跟踪,人脸合成,贝叶斯理论,概率图模型,流形学习 第2页
【学位授予单位】:浙江大学
【学位级别】:博士
【学位授予年份】:2005
【分类号】:TP391.41

手机知网App
【引证文献】
中国期刊全文数据库 前1条
1 程远航;;基于光流法的视频人脸特征点跟踪方法[J];计算机与现代化;2010年07期
中国博士学位论文全文数据库 前2条
1 张艳;空间域超分辨率图像重建技术研究[D];解放军信息工程大学;2007年
2 刘欢喜;人体生物特征的综合分析与应用[D];上海交通大学;2010年
中国硕士学位论文全文数据库 前3条
1 陈亚瑞;高斯均值场变分推理的算法研究[D];天津大学;2007年
2 吴乐;基于分块马尔可夫网络模型的人脸图像超分辨率重构算法的研究[D];中南大学;2008年
3 蓝岚;基于学习的人脸图像超分辨率重构算法的研究[D];中南大学;2009年
【参考文献】
中国期刊全文数据库 前7条
1 吴良武,欧宗瑛;保持轮廓清晰光滑的灰度图像放大算法[J];计算机辅助设计与图形学学报;2002年04期
2 杜杨洲,林学訚;基于形状外观关联映射的动态脸部纹理生成(英文)[J];软件学报;2004年02期
3 孙庆杰,张晓鹏,吴恩华;一种基于Bézier插值曲面的图像放大方法[J];软件学报;1999年06期
4 苏从勇,庄越挺,黄丽,吴飞;基于正交图像生成人脸模型的合成分析方法[J];浙江大学学报(工学版);2005年02期
5 谢存,孔祥维;利用光流预测Snakes模型初期轮廓的动态图象轮廓追迹方法[J];中国图象图形学报;2000年08期
6 张静波,张桂林;基于特征网格的面部图象变形算法[J];中国图象图形学报;2002年03期
7 苏从勇,庄越挺,黄丽,吴飞;基于贝叶斯网络增强预测模型的人脸多特征跟踪[J];中国图象图形学报;2005年02期
【共引文献】
中国期刊全文数据库 前10条
1 李怀琼;陈钱;隋修宝;;基于边缘保护的红外图像插值放大算法[J];兵工学报;2006年04期
2 刘瑞刚;程丹;杨钦;龙翔;;基于DSI插值的三角网格质量优化[J];北京航空航天大学学报;2008年02期
3 王阳;赵春喜;郭山河;;基于一维数据插值算法的图像放大引擎[J];吉林大学学报(信息科学版);2010年04期
4 盛敏;;对图像缩放中有理插值方法的一种新讨论[J];电脑知识与技术;2010年15期
5 芮小平,余志伟,许友志;关于构建矿山三维GIS的思考[J];地质与勘探;2001年04期
6 沈美丽;宋华军;;基于角点检测的光流目标跟踪算法[J];电子器件;2007年04期
7 侯建华;欧宗瑛;栾旭;刘英林;;基于边缘曲线光顺的图像放大算法[J];工程图学学报;2006年04期
8 刘瑞刚;张俊安;程丹;杨钦;;采用拓扑和几何调整的球面三角网格质量优化[J];工程图学学报;2008年06期
9 肖潇;杨国光;白剑;;基于Bezier曲面的快速插值算法改善全景图像的分辨率[J];光电工程;2008年01期
10 顾国华,冯国进,陈钱,张保民;自适应虚拟电子微扫描红外焦平面像素倍增技术[J];光电子技术;2004年04期
中国重要会议论文全文数据库 前2条
1 苏本跃;盛敏;;基于切触有理混合插值的自适应图像缩放算法[A];第四届全国几何设计与计算学术会议论文集[C];2009年
2 付树军;阮秋琦;王文洽;;基于统一的变分模型的有噪图像放大算法[A];几何设计与计算的新进展[C];2005年
中国博士学位论文全文数据库 前10条
1 李雪梅;图像采样的逆向求解及其在三维表示中的应用研究[D];山东大学;2010年
2 李丽;面向个性化定制产品的人像三维建模技术及其应用研究[D];重庆大学;2011年
3 高珊珊;曲面造型理论及其在图像处理中的应用研究[D];山东大学;2011年
4 张勇;医学图像可视化技术及其在虚拟骨折手术中的应用[D];大连理工大学;2002年
5 宋明黎;人脸表情的识别、重建与合成[D];浙江大学;2005年
6 石澄贤;几何图像模型及其在医学图像处理中的应用研究[D];南京理工大学;2005年
7 侯建华;多叶光栅放射治疗系统中若干关键技术研究[D];大连理工大学;2006年
8 张丁;视频实时处理算法研究[D];浙江大学;2007年
9 王强;有理插值样条方法及其在数字图像处理中的应用研究[D];合肥工业大学;2007年
10 肖甫;基于图像的虚拟场景绘制关键技术研究[D];南京理工大学;2007年
中国硕士学位论文全文数据库 前10条
1 葛蓉;高精度壁画远程浏览技术的研究与实现[D];浙江大学;2011年
2 胡亮;人脸图像变形动画技术研究[D];中南林业科技大学;2010年
3 禹果;基于全景相机的视频图像分析[D];浙江大学;2011年
4 张海员;基于误差补偿算法的图像超分辨率重建研究[D];广东工业大学;2011年
5 刘刚;插值图像的复原配比与小波分析算法研究[D];江西理工大学;2011年
6 吴贵善;基于偏微分方程的图像放大[D];郑州大学;2011年
7 许为龙;基于主动轮廓模型的运动跟踪系统的研究[D];哈尔滨工业大学;2010年
8 杨芳;基于学习的图像超分辨率技术及其应用研究[D];北京理工大学;2011年
9 张琳;基于加权HU不变矩的监控视频人体行为识别方法的研究与实现[D];西北大学;2011年
10 侯鲜桃;超分辨率图像重建算法研究[D];山西大学;2011年
【同被引文献】
中国期刊全文数据库 前10条
1 张楠,金伟其,苏秉华,刘扬阳;高分辨力红外热图像重建算法的进展及研究[J];兵工学报;2005年02期
2 苏秉华,金伟其;基于Poisson-Markov场的超分辨力图像复原算法[J];电子学报;2003年01期
3 潘逢治,张立明;用神经网络恢复残差的图像超分辨率算法[J];电子学报;2004年01期
4 刘智勇,尹征琦,朱劲,王向平,邱祖廉;交通监控图像处理的Hopfield神经网络方法[J];公路交通科技;2000年03期
5 苏秉华,金伟其,牛丽红,刘广荣;超分辨率图像复原及其进展[J];光学技术;2001年01期
6 苏秉华,金伟其,牛丽红,刘广荣,刘明奇;基于Markov约束的泊松最大后验概率超分辨率图象复原法[J];光子学报;2002年04期
7 苏秉华,金伟其;基于POCS-MPMAP合成算法的超分辨率图像复原(英文)[J];光子学报;2003年04期
8 李熙莹,倪国强;红外图像的光流计算[J];红外与激光工程;2002年03期
9 张新明 ,沈兰荪;超分辨率复原技术的发展[J];测控技术;2002年05期
10 黄华,樊鑫,齐春,朱世华;基于识别的凸集投影人脸图像超分辨率重建[J];计算机研究与发展;2005年10期
中国博士学位论文全文数据库 前5条
1 李刚;知识发现的图模型方法[D];中国科学院软件研究所;2001年
2 岳博;Bayes网络模型及其学习算法研究[D];西安电子科技大学;2002年
3 曹聚亮;图像超分辨率处理、成像及其相关技术研究[D];国防科学技术大学;2004年
4 谭兵;多帧图像空间分辨率增强技术研究[D];解放军信息工程大学;2004年
5 张田昊;数据降维算法研究及其应用[D];上海交通大学;2008年
中国硕士学位论文全文数据库 前4条
1 黄丽;基于学习的图像超分辨率技术[D];浙江大学;2004年
2 卢志国;人脸跟踪与识别方法的分析与研究[D];四川大学;2005年
3 李冰;空间目标图像超分辨率重建技术研究[D];中国人民解放军信息工程大学;2005年
4 刘欢喜;图像人脸检测及超分辨率处理[D];上海交通大学;2008年
【二级引证文献】
中国期刊全文数据库 前6条
1 姚琦;王培康;;基于盲恢复的POCS图像超分辨率重建[J];电子测量技术;2012年05期
2 姜庆玲;刘爽;陈晓;;基于差值区域的实时人脸定位[J];辽宁工程技术大学学报(自然科学版);2011年03期
3 刘俊宝;李毅;韩军;曾晓洋;;面向指纹图像增强的Gabor滤波器设计[J];计算机工程;2012年18期
4 王伯阳;韩晓微;张文奇;;图像超分辨率重建算法比较研究[J];沈阳大学学报;2011年01期
5 庞尚珍;冯雪;;虹膜识别新技术研究[J];数字技术与应用;2012年11期
6 陈婷婷;阮秋琦;;较大尺度运动下的人体特征点跟踪算法研究[J];信号处理;2014年07期
中国博士学位论文全文数据库 前4条
1 陈亚瑞;基于消息传播的图模型近似变分推理[D];天津大学;2010年
2 李永;多样本、多单元、多角度、多模态生物特征识别技术的研究[D];国防科学技术大学;2011年
3 孙久运;矿区变形监测精密近景摄影测量关键技术研究[D];中国矿业大学;2010年
4 谢伟;多帧影像超分辨率复原重建关键技术研究[D];武汉大学;2010年
中国硕士学位论文全文数据库 前10条
1 孙宁宁;基于序列图像的超分辨率重建算法研究[D];河南工业大学;2010年
2 王伯阳;视频图像超分辨率增强技术研究[D];沈阳大学;2011年
3 程昊韡;一种基于超分辨率图像重建的合成孔径声纳成像方法[D];华南理工大学;2011年
4 刘春辉;基于模板匹配和LK的人眼跟踪研究[D];天津大学;2012年
5 李凤雯;基于偏微分方程的图像配准与融合方法研究[D];南京理工大学;2012年
6 卢亮;图像超分辨率恢复方法研究[D];中国海洋大学;2009年
7 唐丽焕;基于Markov随机场的超分辨率图像重建[D];山东大学;2009年
8 付吉;基于识别的图像超分辨率技术研究[D];解放军信息工程大学;2008年
9 张洪涛;基于车牌图像的超分辨率重建[D];西安电子科技大学;2010年
10 张蓓蓓;超分辨率图像的重建[D];西安理工大学;2010年
【二级参考文献】
中国期刊全文数据库 前4条
1 晏洁;从一般人脸模型到特定人脸模型的修改[J];计算机工程与科学;1997年02期
2 蔡勇,刘学慧,吴恩华;基于图象绘制的虚拟现实系统环境[J];软件学报;1997年10期
3 谢存,孔祥维;利用光流预测Snakes模型初期轮廓的动态图象轮廓追迹方法[J];中国图象图形学报;2000年08期
4 虞露,虞非;脸部表情综合中的肌肉运动模型[J];浙江工业大学学报;1999年01期
【相似文献】
中国期刊全文数据库 前10条
1 刘明宝,姚鸿勋,高文;彩色图像的实时人脸跟踪方法[J];计算机学报;1998年06期
2 刘文萍,付晓玲,伊大成,李晓丽;人脸跟踪技术在智能家庭服务系统中的应用[J];计算机应用研究;2004年10期
3 徐力群;吴晓娟;葛庆国;;实时人脸跟踪算法[J];电子测量技术;2005年01期
4 杨强;;利用Gabor小波特征实现人脸跟踪[J];绵阳师范学院学报;2007年02期
5 孙维广;;一种多人脸跟踪方法的研究[J];科技资讯;2009年04期
6 杜宇;;基于Boosted Cascade算法的人脸检测和跟踪系统[J];电子科技;2006年07期
7 杨秋芬;桂卫华;周书仁;;基于特征三角形的多姿态视频图像人脸跟踪[J];计算机工程;2006年15期
8 杨向波;朱虹;邓颖娜;刘薇;张曈;;基于粒子滤波的人脸跟踪算法[J];计算机工程与应用;2008年23期
9 梁路宏,艾海舟;基于人脸检测的人脸跟踪算法[J];计算机工程与应用;2001年17期
10 陈俊;;人脸跟踪方法综述[J];全国商情(经济理论研究);2009年15期
中国重要会议论文全文数据库 前10条
1 邢文浩;阮秋琦;;基于边缘方向直方图的mean-shift人脸跟踪[A];图像图形技术研究与应用2009——第四届图像图形技术与应用学术会议论文集[C];2009年
2 陈阳;徐一华;李京峰;贾云得;;一种基于多区域模型的实时人脸跟踪方法[A];第十二届全国图象图形学学术会议论文集[C];2005年
3 段其昌;周奇;段盼;;基于改进粒子滤波的实时鲁棒人脸跟踪算法[A];2009中国控制与决策会议论文集(2)[C];2009年
4 胡韦伟;汪荣贵;胡琼;李守毅;;基于Adaboost定位的实时人脸跟踪方法[A];中国仪器仪表学会第九届青年学术会议论文集[C];2007年
5 杜云明;刘启生;邵东伟;姜冬华;;基于肤色特征的粒子滤波人脸跟踪算法[A];第十二届中国体视学与图像分析学术会议论文集[C];2008年
6 孙朋;刘党辉;肖艳青;;基于嵌入式系统的人脸识别技术研究进展[A];第七届全国信息获取与处理学术会议论文集[C];2009年
7 夏思宇;潘泓;金立左;夏良正;;基于肤色与运动特征的人脸跟踪方法[A];2009年中国智能自动化会议论文集(第七分册)[南京理工大学学报(增刊)][C];2009年
8 李建华;付月生;高庆华;;基于改进Camshift算法的人脸跟踪方法[A];第六届全国信息获取与处理学术会议论文集(1)[C];2008年
9 王小权;赵杰煜;;复杂背景下人脸自动检测与实时跟踪系统[A];中国图象图形学会第十届全国图像图形学术会议(CIG’2001)和第一届全国虚拟现实技术研讨会(CVR’2001)论文集[C];2001年
10 胡韦伟;汪荣贵;胡琼;李守毅;;基于肤色特征和卡尔曼预测的人脸跟踪方法[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
中国重要报纸全文数据库 前1条
1 实习生 程凤;东芝公司推出裸眼3D电视[N];科技日报;2011年
中国博士学位论文全文数据库 前10条
1 苏从勇;人脸感知:基于学习的人脸跟踪与合成[D];浙江大学;2005年
2 高广宇;影视视频结构解析及自动编目技术研究[D];北京邮电大学;2013年
3 夏思宇;彩色图像序列的人脸检测、跟踪与识别研究[D];东南大学;2006年
4 江艳霞;视频人脸跟踪识别算法研究[D];上海交通大学;2007年
5 吴翔;基于立体显示的嵌入式身份识别系统研究与设计[D];华东师范大学;2009年
6 吴暾华;面向中医面诊诊断信息提取的若干关键技术研究[D];厦门大学;2008年
7 金乃高;音视频联合说话人定位与跟踪方法研究[D];大连理工大学;2008年
8 黎云汉;人脸特征提取与跟踪[D];浙江大学;2008年
9 刘青山;人脸跟踪与识别的研究[D];中国科学院研究生院(自动化研究所);2003年
10 万川;基于动态序列图像的人脸表情识别系统理论与方法研究[D];吉林大学;2013年
中国硕士学位论文全文数据库 前10条
1 宋广阔;人脸跟踪检测技术的应用研究[D];东北大学;2011年
2 林苏映;基于计算机视觉的人脸跟踪[D];浙江工业大学;2010年
3 韩旭;基于运动趋势估计的人脸跟踪技术研究[D];东北大学;2009年
4 赵季方;面向嵌入式手机平台人脸跟踪技术研究与实现[D];长春理工大学;2012年
5 余珍珠;基于视频监控网络的人脸跟踪算法研究[D];武汉理工大学;2013年
6 曾旭华;基于人脸跟踪的视频共享网站的设计与实现[D];中山大学;2012年
7 宋茹;基于复杂场景的人脸检测与人脸跟踪的研究与实现[D];安徽大学;2014年
8 张焕朗;基于监控系统的人脸跟踪与人脸识别[D];上海交通大学;2013年
9 雷静;基于OpenCV的人脸跟踪识别系统研究[D];西安电子科技大学;2010年
10 高海鹏;基于Mean Shift的视频图像序列人脸跟踪方法[D];西安电子科技大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026