收藏本站
《中国科学技术大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

低比特率真实感人脸视频编码研究

於俊  
【摘要】: 人机情感接口(人脸表情运动参数的跟踪和提取、表情识别、参数传输以及高真实感语音同步人脸动画的合成)是当今计算机视觉和图形学领域的一个研究热点,它在人机交互、视频编码、娱乐和虚拟现实等方面有着非常多的应用。在过去的三十年中,虽然相关领域取得了长足的发展与进步,但仍存在许多亟待解决的问题。其中,如何在发送端根据人脸视频快速获取准确的人脸运动和表情参数,并根据这些人脸运动和表情参数,在接收端合成高真实感的语音同步人脸动画是一个富于挑战性的研究课题。本课题涉及运动分析、人脸表情识别、信源和信道编码、人脸运动学和动力学建模及其表示、协同发音机制建模以及文本驱动人脸动画等诸问题。 本文以极低比特率下模型基人脸视频编、解码为研究对象,对相关的人机情感接口问题进行深入研究,重点探讨人脸表情运动参数的跟踪和提取、参数化视频编码以及高真实感语音同步人脸动画合成等问题。 本文的创新点和主要工作如下: (1)提出了一种基于单幅帧图像的人脸自动适配算法。首先,从输入视频中检测出首帧包含目标人脸的图像,然后以该图像为处理对象,利用改进的支持向量机算法(SVM)实现对其中的人脸的定位,利用Adaboost+Camshift+AAM (Active appearance model)算法实现对人脸特征点的定位:接着,利用上述人脸及其特征点的特定信息,在编码端对一个简洁人脸通用三维模型进行特定化处理以得到待处理人脸的构造参数(FDP:Facial definition parameter);在此基础上,构建在解码端使用的特定化精细人脸三维模型。 (2)提出了一种基于在线模型匹配与更新的人脸三维表情运动跟踪算法。具体言之,利用自适应的统计观测模型来建立在线外观模型,利用自适应的状态转移模型和改进的粒子滤波算法实现对观测场景的确定性和随机化搜索,同时通过融合目标的多种测量信息以减少光照和个体相关性的影响。利用所提出的人脸三维表情运动跟踪算法既可以得到反映目标人脸整体姿态的全局刚体运动参数,又可以得到反映人脸表情变化的局部非刚体运动参数。 (3)对人脸表情识别算法进行了深入研究。首先提出了一种静态人脸表情识别算法,该算法在提取人脸表情运动参数后,根据与表情相关的生理学方面的知识完成对表情的分类识别。接着,为了克服静态人脸表情识别算法的不足,提出了一种结合表情静、动态信息的表情识别算法。该算法在多表情马尔可夫链模型和粒子滤波的框架下结合表情的生理模型完成对人脸运动和表情的同步识别。 (4)提出了一种面向MPEG-4人脸表情运动参数(FAP:Facial animation parameter)的压缩算法。该算法利用面部运动基函数(FBF)来组合FAP,可以在无编码延迟的情况下,通过帧间和帧内编码来达到降低码率的目的。 (5)提出了一种基于MPEG-4的三维人脸表情动画合成算法。该算法采用参数模型和肌肉模型相结合的方式来生成人脸动画,可在FAP流的驱动下生成真实感较强的三维人脸表情动画。此外,还对协同发音机制进行了建模,利用该模型可生成与英语音素对应的人脸视素动作。这样,根据由文本解析得到的音素信息、附加的表情信息和持续时间信息,对视素之间的动画采用非均匀有理B样条函数进行插值可以获得与英语语音同步的表情人脸动画。 (6)在前述研究的基础上,在国际上首次设计并实现了一个集人脸表情运动参数跟踪/提取、表情识别、参数传输以及真实感语音同步人脸动画合成等功能的视频编解码演示系统。该演示系统可在解码端根据解码后的参数合成真实感的人脸动画。
【学位授予单位】:中国科学技术大学
【学位级别】:博士
【学位授予年份】:2010
【分类号】:TP391.41

手机知网App
【参考文献】
中国期刊全文数据库 前8条
1 袁泽剑,郑南宁,贾新春;高斯-厄米特粒子滤波器[J];电子学报;2003年07期
2 杨小军;潘泉;王睿;张洪才;;粒子滤波进展与展望[J];控制理论与应用;2006年02期
3 刘云海,虞露,姚庆栋;人脸序列图像的模型基编码[J];计算机学报;2000年12期
4 薛文通,宋建社,袁礼海,沈涛;图象压缩技术的现状与发展[J];计算机工程与应用;2003年02期
5 金辉,高文;基于特征流的面部表情运动分析及应用[J];软件学报;2003年12期
6 晏洁;文本驱动的唇动合成系统[J];计算机工程与设计;1998年01期
7 刘晓旻;谭华春;章毓晋;;人脸表情识别研究的新进展[J];中国图象图形学报;2006年10期
8 徐成华,王蕴红,谭铁牛;三维人脸建模与应用[J];中国图象图形学报;2004年08期
【共引文献】
中国期刊全文数据库 前10条
1 王京玲,叶龙,张勤;基于遗传算法的粒子滤波器在目标跟踪中的应用[J];北京广播学院学报(自然科学版);2005年02期
2 邹自强,尹宝才,孔德慧;基于MPEG-4的人脸表情动画[J];北京工业大学学报;2003年01期
3 李鸿艳,冯新喜;目标跟踪中的多模型算法发展综述[J];电讯技术;2003年02期
4 聂晓华,姜建国;由多DSP并行处理控制系统实现实时积分解命中算法的研究[J];电光与控制;2003年04期
5 夏克寒;许化龙;张朴睿;;粒子滤波的关键技术及应用[J];电光与控制;2005年06期
6 熊伟,何友,张晶炜;多传感器顺序粒子滤波算法[J];电子学报;2005年06期
7 王宁;王从庆;;基于高斯粒子滤波的当前统计模型跟踪算法[J];光电工程;2007年05期
8 李刚;王蒙军;林凌;;采用非对称唇形轮廓模型提高汉语唇形识别效果[J];光学精密工程;2006年03期
9 姚剑敏;许廷发;倪国强;;一种基于优化小波特征的非线性目标跟踪算法[J];光学精密工程;2007年03期
10 王殊轶;钱省三;;基于逆向工程的呼吸面罩设计[J];上海理工大学学报;2006年01期
中国重要会议论文全文数据库 前10条
1 李晓兵;孙晓丽;夏良正;;基于小波矩特征的小波神经网络目标识别[A];第十七届全国过路控制会议论文集[C];2006年
2 许化龙;夏克寒;曲从善;;粒子滤波及其在车辆航位推算中的应用[A];2004全国测控、计量与仪器仪表学术年会论文集(下册)[C];2004年
3 冯志全;郑艳伟;徐涛;杨波;;基于粒子滤波的人手跟踪方法研究[A];第三届和谐人机环境联合学术会议(HHME2007)论文集[C];2007年
4 李善青;贾云得;柳阳;;一种用于穿戴计算的指示手势视觉跟踪方法[A];第三届和谐人机环境联合学术会议(HHME2007)论文集[C];2007年
5 潘泉;梁彦;张洪才;;常增益交互式多模型算法[A];1998年中国控制会议论文集[C];1998年
6 杨峰;潘泉;梁彦;程咏梅;刘伟;;采样型非线性滤波器进展研究[A];第25届中国控制会议论文集(上册)[C];2006年
7 白大明;唐降龙;刘家锋;赵巍;;基于粒子滤波器的视频跟踪算法研究[A];黑龙江省计算机学会2007年学术交流年会论文集[C];2007年
8 SUN Chang-lu, HUANG Tao (Box 43, Beijing University of Posts and Telecommunications, Beijing 102209, China;Iterative Sampling Particle Filter and its Application[A];2006通信理论与技术新进展——第十一届全国青年通信学术会议论文集[C];2006年
9 尹建君;张建秋;;条件线性高斯状态空间模型的PPF-KF算法[A];2007系统仿真技术及其应用学术会议论文集[C];2007年
10 尹建君;张建秋;;条件线性高斯状态空间模型的GSF-KF滤波算法[A];2007系统仿真技术及其应用学术会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 赵巍;多尺度系统建模、估计与融合方法研究[D];西北工业大学;2000年
2 邹北骥;人脸造型与面部表情动画技术研究[D];湖南大学;2001年
3 屈稳太;基于小波变换的图像压缩与信号检测技术研究[D];浙江大学;2003年
4 洪涛;船体建造CAD/CAM系统数据库技术及面部表情识别技术的若干研究[D];浙江大学;2003年
5 王进;基于视频的人脸表情建模研究[D];浙江大学;2003年
6 张汗灵;基于图象的绘制关键技术研究[D];西北工业大学;2003年
7 孙俊;人脸图像分析和识别方法研究[D];清华大学;2001年
8 任海兵;非特定人自然的人体动作识别[D];清华大学;2003年
9 陈绵书;计算机人脸识别方法研究[D];吉林大学;2004年
10 周寿军;左心室MRI序列的运动跟踪新方法[D];第一军医大学;2004年
中国硕士学位论文全文数据库 前10条
1 杨淳沨;上半人脸运动单元状态识别的研究[D];江苏大学;2007年
2 郑航;人脸面部表情的分析与研究[D];河北工业大学;2006年
3 陈晓斌;回弹曲面映射法及曲面逆向问题的研究[D];吉林大学;2005年
4 于晓聪;基于照片的三维人脸重构技术研究[D];东北师范大学;2005年
5 李占;身份照片的改进压缩编码算法研究与实现[D];武汉理工大学;2005年
6 张建;小波变换在医学图像压缩中的应用研究[D];合肥工业大学;2005年
7 吴思宁;具有真实感的特定人脸模型合成方法的研究[D];北京工业大学;2000年
8 伍立华;基于物理模型的人脸造型技术研究与系统实现[D];湖南大学;2001年
9 舒新峰;三维人脸建模技术研究[D];西北大学;2002年
10 吕江波;MPEG-4兼容的人脸语音动画系统及其在网络通信中的应用[D];浙江大学;2003年
【二级参考文献】
中国期刊全文数据库 前10条
1 袁泽剑,郑南宁,贾新春;高斯-厄米特粒子滤波器[J];电子学报;2003年07期
2 王奎武,王洵,董兰芳,陈意云;一个MPEG-4兼容的人脸动画系统[J];计算机研究与发展;2001年05期
3 王洵,张道义,董兰芳,万寿红;三维语音动画聊天室的设计与实现[J];计算机工程与应用;2004年01期
4 张翔宇,华蓓,陈意云;人脸建模和动画的基本技术[J];计算机辅助设计与图形学学报;2001年04期
5 王奎武,董兰芳,王洵,陈意云;基于MPEG-4的人脸变形算法的研究[J];计算机辅助设计与图形学学报;2002年01期
6 尹宝才,高文;利用Bézier曲面的面部表情和口型几何造型[J];计算机学报;1998年S1期
7 金辉,高文;人脸面部混合表情识别系统[J];计算机学报;2000年06期
8 单卫,姚鸿勋,高文;唇读中序列口型的分类[J];中文信息学报;2002年01期
9 金辉,高文;基于HMM的面部表情图像序列的分析与识别[J];自动化学报;2002年04期
10 金辉,高文;基于特征流的面部表情运动分析及应用[J];软件学报;2003年12期
【相似文献】
中国期刊全文数据库 前10条
1 祁连山;;QQ表情终极大法[J];电脑迷;2004年03期
2 曹晶;;认识MSN表情文字[J];电脑迷;2007年13期
3 王哲;;秀出个性表情图标 扭曲的人脸[J];电脑爱好者;2007年09期
4 曹晶;;一步到位 合并QQ表情分组[J];电脑迷;2007年21期
5 毕超;;昵称也要表情符[J];电脑爱好者(普及版);2007年03期
6 小新;;不是会员 也玩表情涂鸦[J];电脑爱好者;2008年06期
7 阿辉;;妙借旺旺给QQ表情涂鸦[J];电脑迷;2008年16期
8 乔珊;;借QQ表情,还DreamMail微笑[J];现代计算机(普及版);2006年09期
9 光头;;Skype暗藏新表情[J];电脑迷;2007年04期
10 无人喝彩;;给流行表情加点料[J];电脑迷;2007年08期
中国重要会议论文全文数据库 前10条
1 李晓娟;杨唐文;阮秋琦;;基于右半脸轮廓线特征的3D人脸识别算法[A];'2010系统仿真技术及其应用学术会议论文集[C];2010年
2 李铁;孙劲光;刘旸;;基于分形与保局投影的人脸识别算法的研究[A];第七届和谐人机环境联合学术会议(HHME2011)论文集【oral】[C];2011年
3 王晓慧;张申;贾珈;蔡莲红;;语义脸像的分析与生成[A];第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集[C];2009年
4 赵萍;陈喆;;基于移动最小二乘算法的人脸美化技术[A];2010年通信理论与信号处理学术年会论文集[C];2010年
5 毛慧芸;庞家昊;金连文;杜明辉;;一种美丽人脸的计算机合成方法[A];第十五届全国图象图形学学术会议论文集[C];2010年
6 余忠艳;;表情礼仪[A];湖北省服务品牌、服务文化大展示(专刊)[C];2011年
7 王元春;刘跃虎;李垚辰;苏远歧;;基于几何显著图的三维人脸对象检测[A];第六届和谐人机环境联合学术会议(HHME2010)、第19届全国多媒体学术会议(NCMT2010)、第6届全国人机交互学术会议(CHCI2010)、第5届全国普适计算学术会议(PCC2010)论文集[C];2010年
8 庄毅;胡华;袁承祥;蒋国昌;胡海洋;琚春华;;基于流形空间的交互式人脸图像索引(英文)[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
9 毋立芳;盛凯;张斯聪;刘勋;;人脸姿势表示与估计[A];第一届中国情感计算及智能交互学术会议论文集[C];2003年
10 张新君;孙志鹏;孙劲光;;一种改进的基于SIFT和LBP的人脸识别算法[A];第七届和谐人机环境联合学术会议(HHME2011)论文集【poster】[C];2011年
中国重要报纸全文数据库 前10条
1 记者 谭娜;虹膜、指纹、人脸,一网打尽[N];北京科技报;2011年
2 ;见人脸红的心理调适[N];保健时报;2004年
3 记者 李学梅;蜜蜂也能识别人脸[N];新华每日电讯;2010年
4 本报记者 申明;人脸“门禁”时代即将来临[N];科技日报;2008年
5 本报记者 李鹏;微表情:假话天敌[N];北京科技报;2010年
6 记者 黄越滔;广东籍跳水名将:想设计个最佳点火表情[N];广州日报;2010年
7 本报记者 於婵;市民卡引发的公众表情[N];台州日报;2010年
8 王曙光;“政策表情”的变脸与误读[N];鞍山日报 ;2011年
9 记者 郑玮娜;公交乘客表情图:自我调侃中的期盼[N];新华每日电讯;2011年
10 本报记者 陈星星;网络表情创作者点击你我的喜怒哀乐[N];人民日报;2011年
中国博士学位论文全文数据库 前10条
1 於俊;低比特率真实感人脸视频编码研究[D];中国科学技术大学;2010年
2 夏海英;基于纹理和几何特征的表情分类研究[D];华中科技大学;2011年
3 张石清;基于语音和人脸的情感识别研究[D];电子科技大学;2012年
4 孙曦;基于双目立体视觉的人脸三维重建与识别[D];中国科学技术大学;2011年
5 毛慧芸;人脸美丽吸引力的特征分析与机器学习[D];华南理工大学;2011年
6 胡媛;三维人脸形体匹配与属性分类研究[D];上海交通大学;2011年
7 周薇娜;人脸检测算法及其芯片实现关键技术研究[D];复旦大学;2012年
8 方小勇;人脸运动捕捉数据处理及表情动画重构研究[D];大连理工大学;2010年
9 陈俊;笑脸表情分类识别的研究[D];华南理工大学;2011年
10 徐筠;表情与服装手绘动画生成方法研究[D];浙江大学;2011年
中国硕士学位论文全文数据库 前10条
1 王进进;二维和三维人脸融合[D];中国地质大学(北京);2010年
2 胡虎跃;海量训练数据如何影响人脸检测器性能:实验研究[D];南京航空航天大学;2010年
3 李智;基于视频图像的人脸疲劳状态检测技术研究[D];国防科学技术大学;2010年
4 赵新;基于样例的表情生成方法研究[D];北京理工大学;2010年
5 马波;基于视频的多视角人脸检测与跟踪[D];上海交通大学;2010年
6 黄煜斌;基于人脸聚类的视频结构化分析[D];北京邮电大学;2011年
7 孙奇飞;人脸疲劳状态的识别与研究[D];广东工业大学;2011年
8 李秋实;基于人脸肤色的特征提取[D];吉林大学;2010年
9 梅俊华;基于Contourlet变换的主成分分析人脸识别算法[D];中南民族大学;2010年
10 沙腾;基于子空间学习的人脸特征分析及应用[D];浙江大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026