收藏本站
《中国科学技术大学》 2008年
收藏 | 手机打开
二维码
手机客户端打开本文

汉语语音同步的真实感三维人脸动画研究

周维  
【摘要】: 具有真实感的语音同步人脸动画是当今计算机图形学领域的一个热点问题。它在人机交互、娱乐、影视制作和虚拟现实等方面有着非常多的应用。在过去的三十年中,相关领域取得了长足的发展与进步,但仍存在许多问题亟待解决。其中,如何获得具有高真实感的语音同步人脸动画是一个富于挑战性的课题。该课题涉及个性化人脸的运动学和动力学建模和表示、协同发音机制的建模和表示以及语音驱动人脸动画的主客观评估等诸问题。 本文从以下几个方面对语音驱动人脸动画这一富于挑战性的研究课题进行了重点研究。 首先,本文在Waters肌肉模型的基础上提出了一种新的嘴唇肌肉模型。针对Waters模型过于简单,不能对复杂的面部动作进行有效建模的问题,本文参考面部解剖学的相关研究成果,提出了一种能够精确描述嘴唇运动的新的嘴唇肌肉模型。该模型将嘴唇的整体运动分解为若干个子运动,并通过各子运动之间的线性组合来表示嘴唇的整体运动。为了合成说话人脸,首先在嘴唇上标记出一些特征点并通过这些特征点获取一组用来描述嘴唇运动的参数。在此基础上,建立嘴唇的运动模型。然后,利用上述嘴唇运动模型和与之相关联的线性肌肉模型,合成各种说话口型。实验结果表明,该嘴唇模型计算代价低、实用性强,是一种有效的嘴唇模型。利用该模型可以合成具有一定真实感的口型动画。 其次,在汉语普通话三音子模型和协同发音相关研究成果的基础上,本文提出了一种上下文相关的可视语音协同发音模型。该模型将基于规则集的方法和基于学习的方法进行结合,充分利用两种方法的优点来获得具有真实感的人脸语音动画。我们的模型关注于汉语普通话协同发音的视觉效果。为了得到关键的合成口型,建立了可视语音的协同发音规则集。各音子的相应视位权重可由量化的规则集计算得出。在此基础上,可以合成对应于各音子的口型序列。然后,利用基于学习的方法,从所有的可能选择中获得合成的两音子间的过渡口型,最终得到具有真实感的人脸语音动画。 此外,本文还提出了一种新的与语速相关的嘴唇运动模型。在连续语流状态下语速对嘴唇运动的速度和幅度都有很大的影响。研究表明,一些说话人在保持运动速度相对不变的条件下通过增大嘴唇运动幅度来达到增加语速的效果,而另一些人则在保持嘴唇运动幅度不变的前提下通过增大运动速度来实现提高语速的目的。也有一些人通过同时调节嘴唇的运动幅度和运动速度两种参数实现对语速的控制。这表明,在不同的语速条件下,不同人的唇动策略有所不同。基于上述背景知识,本文提出了一种新的具有高度自然度和个性化特征的、与语速相关的嘴唇运动模型。这里,将嘴唇肌肉区域看作一个独立的粘弹性系统,根据EMG信号与语速以及肌肉收缩力之间存在的观测数据得到皮肤肌肉组织和语速以及肌肉收缩力之间的定量关系。依据该嘴唇运动模型,我们构建了一个汉语普通话人脸动画系统。 最后,为了对所构建的语音同步人脸动画系统的质量进行评估,本文提出了一种用于汉语可视语音动画质量评估的系统化方法。该方法主要由两种测试步骤构成:可接受性测试与可理解性测试。在可接受性测试中,使用了诊断的可接受性测量方法,并添加进了测试和客观评估相结合的方法。在可理解性评估中,提出了一种新的可视汉语改进押韵测试方法。在该方法中,通过引入“惩罚”与“原谅”因子以模拟人们对于说话人脸的感知。综合两种测试方法可以得到对所提出的三维人脸语音动画系统的总体评估。 在前述研究的基础上,我们设计并实现了一个汉语三维人脸语音动画演示系统。该演示系统可以根据所输入的语音和特定人的三维人脸模型生成具有真实感的个性化说话人脸动画。
【学位授予单位】:中国科学技术大学
【学位级别】:博士
【学位授予年份】:2008
【分类号】:TP391.41

手机知网App
【引证文献】
中国期刊全文数据库 前2条
1 林凡;;基于文本驱动的人脸表情动画系统[J];计算机光盘软件与应用;2012年15期
2 李皓;陈艳艳;唐朝京;;唇部子运动与权重函数表征的汉语动态视位[J];信号处理;2012年03期
中国博士学位论文全文数据库 前3条
1 李皓;语音驱动的人脸建模与动画技术研究[D];国防科学技术大学;2011年
2 蔡飞龙;京剧脸谱数字化建模与绘制技术研究[D];浙江大学;2012年
3 於俊;低比特率真实感人脸视频编码研究[D];中国科学技术大学;2010年
【参考文献】
中国期刊全文数据库 前10条
1 王奎武,王洵,董兰芳,陈意云;一个MPEG-4兼容的人脸动画系统[J];计算机研究与发展;2001年05期
2 王志明,蔡莲红,艾海舟;基于支持向量回归的唇动参数预测[J];计算机研究与发展;2003年11期
3 尹宝才,高文,晏洁,宋益波;基于模型的头部运动估计和面部图像合成[J];计算机研究与发展;1999年01期
4 王洵,张道义,董兰芳,万寿红;三维语音动画聊天室的设计与实现[J];计算机工程与应用;2004年01期
5 梅丽,鲍虎军,彭群生;特定人脸的快速定制和肌肉驱动的表情动画[J];计算机辅助设计与图形学学报;2001年12期
6 尹宝才,高文;利用Bézier曲面的面部表情和口型几何造型[J];计算机学报;1998年S1期
7 梅丽,鲍虎军,郑文庭,彭群生;基于实拍图像的人脸真实感重建[J];计算机学报;2000年09期
8 单卫,姚鸿勋,高文;唇读中序列口型的分类[J];中文信息学报;2002年01期
9 康恒,刘文举;基于综合因素的汉语连续语音库语料自动选取[J];中文信息学报;2003年04期
10 陈益强,高文,王兆其,姜大龙;基于机器学习的语音驱动人脸动画方法[J];软件学报;2003年02期
【共引文献】
中国期刊全文数据库 前10条
1 张小燕;普通话上声变调与轻声分析[J];阿坝师范高等专科学校学报;2004年02期
2 邢青青;罗新斌;;基于小波去噪和机器视觉的边缘检测[J];四川有色金属;2009年01期
3 孔慧芳;张萍;;合肥方音中特有韵母变化的社会语言学分析[J];安徽农业大学学报(社会科学版);2006年03期
4 王银霞;;河南方言中“个”的弱化与音系-句法协同[J];安徽工业大学学报(社会科学版);2009年06期
5 王伟华;;法语二外语音教学刍议[J];安徽文学(下半月);2008年03期
6 胡建;;关于音位归纳中语音相似性判定的尝试[J];安徽文学(下半月);2010年06期
7 代颖颖;;关于学习和掌握舌尖前音和舌尖后音[J];安徽文学(下半月);2011年05期
8 刘倩;关于开明出版社《现代汉语》语音部分的质疑[J];鞍山师范学院学报;2002年02期
9 张士东;;从语音角度看英、日、汉语的差别和联系[J];鞍山师范学院学报;2006年01期
10 陈向伟,王龙山,刘庆民,崔治;基于CCD图像的圆度误差测量的研究[J];半导体光电;2004年04期
中国重要会议论文全文数据库 前10条
1 季铮;张剑清;詹总谦;;基于特征不变量的目标识别定位方法研究[A];第二十六届中国控制会议论文集[C];2007年
2 刘磊;王永骥;;基于单目视觉的机器人动态目标识别与跟踪[A];第二十六届中国控制会议论文集[C];2007年
3 周艳;唐权华;金炜东;;基于自适应噪声检测的彩色图像插值滤波算法[A];第二十七届中国控制会议论文集[C];2008年
4 陈文颉;刘劲;甘名刚;;基于NMI特征匹配及位置预测的目标自动跟踪及其DSP实现[A];第二十九届中国控制会议论文集[C];2010年
5 吴能伟;;3D靶标的摄像机标定方法[A];第九届全国信息获取与处理学术会议论文集Ⅱ[C];2011年
6 张炜;蒋大林;郎芬玲;曹广鑫;王秀芬;;图像处理技术应用于选矿领域的综述[A];第九届全国信息获取与处理学术会议论文集Ⅱ[C];2011年
7 周灿林;李剑峰;徐建强;李方义;高成勇;司书春;王红星;;铝盖质量光学在线检测研究[A];中国光学学会2010年光学大会论文集[C];2010年
8 郭厚焜;罗晖;Xi Kevin;林风涛;;光栅条纹图像方向自适应滤波方法[A];中国光学学会2010年光学大会论文集[C];2010年
9 廖娟;罗锡文;张智刚;胡炼;;基于LabVIEW的农业机械视觉导航[A];中国农业工程学会2011年学术年会论文集[C];2011年
10 李冰锋;谢磊;周祥增;付中华;张艳宁;;实时语音驱动的虚拟说话人[A];第十一届全国人机语音通讯学术会议论文集(一)[C];2011年
中国博士学位论文全文数据库 前10条
1 孔凡芝;引线键合视觉检测关键技术研究[D];哈尔滨工程大学;2009年
2 王文标;基于视觉测量的快速再制造成形系统关键技术研究[D];大连海事大学;2010年
3 孙贤斌;三维信息获取技术中定标与图形包含问题的研究[D];华中科技大学;2010年
4 韩守东;纹理建模与图切分优化方法研究[D];华中科技大学;2010年
5 柳春;甘肃临夏方言回腔语音格局研究[D];西北民族大学;2010年
6 陈志国;基于群体智能的机器视觉的关键技术研究[D];江南大学;2010年
7 奉小慧;音频噪声环境下唇动信息在语音识别中的应用技术研究[D];华南理工大学;2010年
8 于辉;汉语借词音系学[D];南开大学;2010年
9 贾奋励;电子地图多尺度表达的研究与实践[D];解放军信息工程大学;2010年
10 康锋;基于视觉特征的早期农林火灾检测方法的基础研究[D];浙江大学;2010年
中国硕士学位论文全文数据库 前10条
1 郑纪业;基于H.264的校园视频监控系统的设计与实现[D];山东科技大学;2010年
2 徐元;基于双目立体视觉的匹配算法研究[D];山东科技大学;2010年
3 刘国栋;基于ARM与DSP的机器视觉硬件平台设计与研究[D];郑州大学;2010年
4 陈欣欣;基于CT图像的血管分割[D];郑州大学;2010年
5 钟取发;动态环境下早期烟雾、火苗的视频分级检测研究[D];浙江理工大学;2010年
6 宝乐儿;初级阶段蒙古学生汉语发音偏误分析及相应的教学对策[D];上海外国语大学;2010年
7 周斌;四桨两舵大型船舶螺旋桨的面元法设计研究[D];哈尔滨工程大学;2010年
8 张云珠;工业机器人手眼标定技术研究[D];哈尔滨工程大学;2010年
9 林华云;蒸汽发生器检修机械臂的视觉测量研究[D];哈尔滨工程大学;2010年
10 李阳;智能监控系统中运动目标检测与跟踪算法研究[D];哈尔滨工程大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 鲁东明,潘云鹤,陈任;敦煌石窟虚拟重现与壁画修复模拟[J];测绘学报;2002年01期
2 姜璐,章品正,舒华忠;矩在面部表情识别中的应用[J];东南大学学报(自然科学版);2004年04期
3 霍笑游;孟中元;杨琦;;虚拟现实——秦兵马俑遗址与文物的数字化保护与展示[J];东南文化;2009年04期
4 沈润泉;;计算机人脸几何造型技术[J];电脑知识与技术;2010年24期
5 邝航宇,张军,韦岗;一种基于检测元音的孤立词端点检测算法[J];电声技术;2005年03期
6 刘洋;;3ds Max人物角色汉语口型动画自动生成[J];电视字幕(特技与动画);2007年10期
7 於俊;周维;;一种基于壳向量的SVM快速增量学习算法[J];电子测量与仪器学报;2006年06期
8 袁泽剑,郑南宁,贾新春;高斯-厄米特粒子滤波器[J];电子学报;2003年07期
9 王作英,肖熙;基于段长分布的HMM语音识别模型[J];电子学报;2004年01期
10 陈宝远;梁伟明;;基于小波分析的语音端点检测算法研究与仿真[J];哈尔滨理工大学学报;2009年01期
中国博士学位论文全文数据库 前4条
1 姜大龙;真实感三维人脸合成方法研究[D];中国科学院研究生院(计算技术研究所);2005年
2 王巨山;手工艺类非物质文化遗产理论及博物馆化保护研究[D];山东大学;2007年
3 彭冬梅;面向剪纸艺术的非物质文化遗产数字化保护技术研究[D];浙江大学;2008年
4 赵晖;真实感汉语可视语音合成关键技术研究[D];国防科学技术大学;2010年
中国硕士学位论文全文数据库 前3条
1 张献颖;计算机辅助文物复原关键技术研究[D];西北大学;2003年
2 张翀;真实感三维人脸建模及表情动画技术的研究[D];西北工业大学;2004年
3 陈丽霞;基于声韵母基元的汉语语音识别系统[D];南京理工大学;2005年
【二级参考文献】
中国期刊全文数据库 前10条
1 杨丹宁,郭峰,文成义;由文本至口形的媒体变换技术的研究[J];电子学报;1996年01期
2 王奎武,王洵,董兰芳,陈意云;一个MPEG-4兼容的人脸动画系统[J];计算机研究与发展;2001年05期
3 高文,吴枫;MPEG-4编码的现状和研究[J];计算机研究与发展;1999年06期
4 黄玉明,杨士强,徐光祐;彩色CCD摄象机的光强——灰度响应线性化及其在颜色定标中的应用[J];机器人;1992年01期
5 张翔宇,华蓓,陈意云;人脸建模和动画的基本技术[J];计算机辅助设计与图形学学报;2001年04期
6 王奎武,董兰芳,王洵,陈意云;基于MPEG-4的人脸变形算法的研究[J];计算机辅助设计与图形学学报;2002年01期
7 高文,金辉;面部表情图像的分析与识别[J];计算机学报;1997年09期
8 高文,陈熙霖,晏洁,宋益波,尹宝才;虚拟人面部行为的合成[J];计算机学报;1998年08期
9 姚鸿勋,刘明宝,高文,范旭彤,张洪明,吕雅娟;基于彩色图像的色系坐标变换的面部定位与跟踪法[J];计算机学报;2000年02期
10 金辉,高文;人脸面部混合表情识别系统[J];计算机学报;2000年06期
【相似文献】
中国期刊全文数据库 前10条
1 姜大龙,王兆其,高文;基于MPEG-4的三维人脸动画实现方法[J];系统仿真学报;2001年S2期
2 刘玉宇,吴及,王作英;汉语三音子模型观测概率比较[J];中文信息学报;2003年03期
3 陈益强,高文,王兆其,姜大龙;基于机器学习的语音驱动人脸动画方法[J];软件学报;2003年02期
4 吴渊,郑文庭;一种参数化的表情映射方法[J];计算机应用研究;2004年10期
5 张亚妮;基于MPEG-4的人脸动画技术研究[J];计算机应用与软件;2003年09期
6 徐先良,沈萦华,费广正,石民勇;计算机人脸建模和动画技术综述[J];北京广播学院学报(自然科学版);2005年01期
7 宋阳,刘胜兰,张燕宏;利用SAPI5完成中文语音音素的分解[J];微计算机信息;2005年03期
8 王奎武,王洵,董兰芳,陈意云;一个MPEG-4兼容的人脸动画系统[J];计算机研究与发展;2001年05期
9 周维;汪增福;;与语速相关的人脸语音动画合成及其评估[J];中国图象图形学报;2009年07期
10 姜大龙,高文,王兆其,陈益强;面向纹理特征的真实感三维人脸动画方法[J];计算机学报;2004年06期
中国重要会议论文全文数据库 前10条
1 张西正;匡震邦;蔡绍皙;王远亮;徐世荣;黄岂平;;应变作用下Wistar大鼠成骨细胞增殖和粘弹性的实验研究[A];21世纪医学工程学术研讨会论文摘要汇编[C];2001年
2 赵志泉;林琳;殷咏梅;林征;;肌电图生物反馈与功能性排便异常的临床研究[A];中华医学会2001年全国胃电图和胃肠动力研讨会论文摘要集[C];2001年
3 许政;王庆;付志一;;Maxwell模型粘弹性体本构关系的递推及应用[A];第十二届全国结构工程学术会议论文集第Ⅰ册[C];2003年
4 孙坚;李军;周国瑜;;根治性与功能性颈淋巴清扫术后斜方肌功能改变的比较研究[A];2004年中国口腔颌面修复重建外科学术会议论文汇编[C];2004年
5 赵悦;姜长斌;鲍海萍;尹琳;;自发肌电图对大鼠脊神经根监测的研究[A];第十一届全国神经病学学术会议论文汇编[C];2008年
6 王清文;欧荣贤;;生物质材料的塑性加工研究进展[A];第二届中国林业学术大会——S11 木材及生物质资源高效增值利用与木材安全论文集[C];2009年
7 郭平;郭荣;;羧甲基壳聚糖对Tween 80/Brij 30/H_2O蠕虫状胶束体系粘弹性的影响[A];中国化学会第十二届胶体与界面化学会议论文摘要集[C];2009年
8 李相辉;;粘弹性阻尼夹层梁动态响应研究[A];中国计算力学大会'2010(CCCM2010)暨第八届南方计算力学学术会议(SCCM8)论文集[C];2010年
9 王宝善;施行党;张程远;;线性和非线性粘弹性对循环加载下砂岩的影响[A];1999年中国地球物理学会年刊——中国地球物理学会第十五届年会论文集[C];1999年
10 倪永军;朱晞;孙欣;;附加约束阻尼减振装置控制下承钢板梁横向振动技术研究[A];第九届全国结构工程学术会议论文集第Ⅱ卷[C];2000年
中国重要报纸全文数据库 前10条
1 本报记者 赵建国;人脸动画新技术促我国动漫产业发展[N];中国知识产权报;2009年
2 紫箕;肌肉检测仪为ASL治疗提速[N];医药经济报;2007年
3 采写 本报记者 张蕊;崔丽英 传承协和精神[N];健康报;2007年
4 阿果;快速处置脑伤患者[N];中山日报;2007年
5 崔丽英;认识非常见肌病[N];健康报;2006年
6 普陀区人民医院神经内科 刘晓红;神经电生理检查的新武器[N];上海中医药报;2009年
7 本报记者 陈振海 通讯员 刘文慧;办人民需要的医院 做百姓满意的天使[N];消费日报;2005年
8 吴敏;“无抽搐治疗”亟待规范[N];健康报;2006年
9 马平东;塑料凹印油墨的性能及调整[N];中国包装报;2006年
10 王启新;孩子为什么老摔跤[N];家庭医生报;2006年
中国博士学位论文全文数据库 前10条
1 周维;汉语语音同步的真实感三维人脸动画研究[D];中国科学技术大学;2008年
2 徐赵东;(铅)粘弹性阻尼结构的试验与研究[D];西安建筑科技大学;2001年
3 王珺;含湿热的耦合粘弹性本构、断裂及应用[D];西南交通大学;2002年
4 魏翠玲;粘弹性层状地基的动态反分析[D];大连理工大学;2000年
5 王进;基于视频的人脸表情建模研究[D];浙江大学;2003年
6 赵宏亮;具局部粘弹性的弹性系统的稳定性[D];浙江大学;2002年
7 周建中;基于模糊—神经元的抗震结构智能混合控制[D];西安建筑科技大学;2003年
8 陈静波;粘弹性聚合物熔体注射成型模型化理论与数值模拟研究[D];郑州大学;2003年
9 张海联;固体火箭发动机药柱的粘弹性不确定结构分析[D];中国人民解放军国防科学技术大学;2002年
10 赖文志;降糖舒络方治疗2型糖尿病周围神经病变的中医理论探讨与临床研究[D];湖南中医药大学;2006年
中国硕士学位论文全文数据库 前10条
1 常崇义;复合材料粘弹性性能预测的多尺度算法与数值模拟[D];大连理工大学;2003年
2 贾宏禹;材料的粘弹性对摩擦片振动与制动噪声的影响研究[D];武汉理工大学;2003年
3 马海龙;基于粘弹性阻尼器的海洋平台振动控制[D];中国海洋大学;2003年
4 孔凡顺;聚合物溶液的粘弹性对残余油的微观作用机理[D];大庆石油学院;2005年
5 曹秋玲;PTT/毛精纺面料的研制与性能研究[D];东华大学;2006年
6 马辉;大型带式输送机动态仿真模型研究与系统开发[D];辽宁工程技术大学;2007年
7 戴鲲;粘弹性表面活性剂压裂液研究与应用[D];吉林大学;2008年
8 王伟强;苏丹胶凝原油结构破坏特性研究[D];中国石油大学;2008年
9 程红梅;损伤预应力钢筋混凝土介质中波的传播[D];湖南大学;2004年
10 刘志宏;粘弹性多层复合结构吸声特性研究[D];西北工业大学;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026