收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Dirichlet自由变形算法的人脸表情动画技术研究

倪虎  
【摘要】:随着机器智能化步伐的加快,越来越多的服务型机器人走进千家万户,人们已经不再满足于过去的“一问一答”式虚拟机器人,多功能、高要求的虚拟机器人成为研究的热点。人们在与虚拟机器人交流的过程中,希望得到虚拟机器人的反馈,尤其是情感上的反馈,而反映情感最重要的信息是面部表情。因此,如何给虚拟机器人一个逼真的外形并能够像人类那样自如的做各种表情动作是当前急需解决的问题。具体表现在:首先,如何对虚拟人的嘴唇、眼睛、眉毛、牙齿和舌头等部位进行精准建模并模拟动作。其次,怎样保证每个运动部位之间协调运动、互相关联,不会出现运动失调的情况。接着,如何保证三维虚拟说话人在说话过程中,语音信息、面部动作轨迹以及所要表达的内容三者之间的一致性。为了解决上述的问题,本文设计并实现了基于Dirichlet自由变形算法的人脸表情动画合成系统。该系统主要有两个部分组成:第一部分使用Facial Motion Capture(面部运动捕捉系统)采集真人表演者的面部运动数据,该部分主要包括面部运动数据的采集、分析及处理,以便将处理后的数据作为人脸表情动画合成系统的驱动数据。第二部分将DFFD(Dirichlet free-form deformations)算法应用于三维虚拟人脸变形上。通过以DFFD算法为基础,结合C++语言可移植性和OpenGL图形库的跨平台性,实现三维虚拟人脸表情动画合成系统。另外,通过将构建的3D说话人语音、视觉数据库,经长短期记忆-递归神经网络(LSTM-RNN)模型训练后的输出作为人脸表情动画合成系统的输入,可以实现语音驱动唇形动画。本文的主要研究工作如下:(1)使用C++语言设计并实现了DFFD算法,并将DFFD算法进行类的封装,对外提供了一个友好的调用接口,以便使用者调用。并提出改进型加权DFFD算法,实现了对变形强度的控制,使得变形效果更好。(2)利用DFFD算法并结合OpenGL图形处理库实现包括眼睛、眉毛、鼻子、嘴唇、牙齿和舌头等部位的动作模拟,结合各区域运动的关联性,使用真人动作数据同步驱动各部位的运动,实现面部各区域的协调、同步运动,使得动画效果更逼真。(3)利用LSTM-RNN模型作为训练模型,构建输入语音和输出唇部动作轨迹之间的映射关系,实现语音驱动唇部动画,增加了将语音数据作为系统驱动数据的功能,使得系统功能更加完善。(4)设计了系统的应用型实验。通过将系统合成的表情视频和与之对应的真人表情视频作为刺激材料,研究人在观察两种视频时观察模式的差异性,以便将系统用于后期的实验研究。经过实验对比和主观人工评估,结果证明本文中的人脸表情动画合成系统能够很逼真的模拟真人说话时的表情动作,并且该系统能够很好的保证三维虚拟说话人在说话过程中,视觉方面、听觉方面以及所要表达内容三者之间的一致性。


知网文化
【相似文献】
中国期刊全文数据库 前17条
1 陈松;袁训明;;动态人脸表情合成的模型特征驱动算法综述[J];计算机与现代化;2019年07期
2 万贤美;金小刚;;真实感3D人脸表情合成技术研究进展[J];计算机辅助设计与图形学学报;2014年02期
3 王宇博,艾海舟,武勃,黄畅;人脸表情的实时分类[J];计算机辅助设计与图形学学报;2005年06期
4 邹自强,尹宝才,孔德慧;基于MPEG-4的人脸表情动画[J];北京工业大学学报;2003年01期
5 邹北骥,彭永进,伍立华,彭群生;基于物理模型的人脸表情动画技术研究[J];计算机学报;2002年03期
6 胡诗琦;;对人脸表情迁移与分析方法的探讨[J];科技与创新;2019年05期
7 刘剑;金泽群;;基于深度学习的人脸表情迁移方法[J];计算机科学;2019年S1期
8 余锐;;基于深度学习的人脸表情特征分析[J];现代计算机(专业版);2018年13期
9 谢亮;;弱光照环境下人脸表情图像识别方法研究[J];计算机测量与控制;2017年09期
10 万贤美;金小刚;;时空人脸表情动画编辑[J];计算机辅助设计与图形学学报;2013年08期
11 杨康;陈晓;彭国华;;基于统计学习的人脸表情分类[J];计算机仿真;2009年06期
12 杜志军;王阳生;;利用主动外观模型合成动态人脸表情[J];计算机辅助设计与图形学学报;2009年11期
13 李旭东;张振跃;;人脸表情的形变线性拟合方法[J];自动化学报;2008年05期
14 李旭东;;用于人脸表情图像与动画合成的图像变形方法[J];武汉大学学报(信息科学版);2007年09期
15 罗庆云;方小勇;黄樱;洪俊;魏小鹏;;人脸表情动画研究简述[J];福建电脑;2016年04期
16 范懿文;柳学成;夏时洪;;人脸表情动画与语音的典型相关性分析[J];计算机辅助设计与图形学学报;2011年05期
17 张家树,陈辉,李德芳,罗小宾,夏小东;人脸表情自动识别技术研究进展[J];西南交通大学学报;2005年03期
中国重要会议论文全文数据库 前10条
1 陶建华;谭铁牛;;语音和人脸表情同步的双模态情感表达研究[A];第一届中国情感计算及智能交互学术会议论文集[C];2003年
2 郭哲;袁博雅;徐芳达;王毅;樊养余;;基于深度学习的人脸表情分析方法[A];第十六届中国体视学与图像分析学术会议论文集——交叉、融合、创新[C];2019年
3 张楠;耿雪;张有为;;人脸表情诱因分析[A];第十三届全国信号处理学术年会(CCSP-2007)论文集[C];2007年
4 陈辉;张家树;;人脸表情的混沌仿生识别[A];第二届全国信息获取与处理学术会议论文集[C];2004年
5 Sik-Yum LEE;;Bayesian Analysis of Finite Mixtures in Structural Equation Models via Truncated Dirichlet Process[A];江苏省现场统计研究会第11次学术年会论文集[C];2008年
6 唐京海;应自炉;张有为;;人机自然交互过程中情态的识别与融合[A];第十二届全国信号处理学术年会(CCSP-2005)论文集[C];2005年
7 王高;李纯青;马宝龙;;基于Dirichlet模型的品牌绩效测量实证研究[A];第八届中国管理科学学术年会论文集[C];2006年
8 N.Zhen;Y.S.Wang;C.Zhang;;Bandgap Calculation for Phononic Crystals with Nanosized Inclusions by Dirichlet-to-Neumann Map[A];Proceedings of the 16th Annual Conference of Hong Kong Society of Theoretical and Applied Mechanics 2012、The 1st Mainland-Hong Kong Youth Forum on Mechanics 2012、The 8th Shanghai-Hong Kong Forum on Mechanics and Its Application 2012[C];2012年
9 陈海峰;;一种智能性自动换肤技术研究[A];第三届中国智能计算大会论文集[C];2009年
10 卿湘运;王行愚;;基于Dirichlet过程的贝叶斯多维尺度聚类[A];第二十七届中国控制会议论文集[C];2008年
中国博士学位论文全文数据库 前10条
1 宋明黎;人脸表情的识别、重建与合成[D];浙江大学;2005年
2 左坤隆;人脸表情自动分析与识别系统的研究[D];天津大学;2004年
3 金城;二维图像特征研究[D];浙江大学;2006年
4 王磊;人脸表情自动提取与跟踪技术研究[D];湖南大学;2007年
5 蒋斌;鲁棒人脸表情识方法研究[D];北京工业大学;2014年
6 万贤美;真实感人脸表情合成的关键技术研究[D];浙江大学;2012年
7 黄玲玲;Dirichlet不可改进集的测度与分形性质[D];华中科技大学;2019年
8 冯可;一类奇异复Monge-Amp(?)re方程Dirichlet问题[D];南京大学;2016年
9 李英奎;C~n单位球上的向量值Dirichlet型函数空间[D];武汉大学;2005年
10 方兴;一维对称扩散过程的Dirichlet子空间[D];浙江大学;2004年
中国硕士学位论文全文数据库 前10条
1 倪虎;基于Dirichlet自由变形算法的人脸表情动画技术研究[D];武汉理工大学;2019年
2 霍江雷;数据驱动的实时人脸表情动画研究[D];河北工业大学;2015年
3 姚院秋;基于CPR回归器的实时人脸表情跟踪与动画技术[D];上海大学;2019年
4 宋南;融合人脸表情的手语到汉藏双语情感语音转换的研究[D];西北师范大学;2019年
5 李可;人脸表情动画研究[D];南京大学;2019年
6 邓豪;基于人脸表情的学习兴趣评测方法研究[D];北方工业大学;2019年
7 翟蒙锁;人脸表情特征提取与识别算法研究[D];安徽工程大学;2019年
8 涂亮;基于网格模型的人脸表情合成算法研究[D];贵州大学;2019年
9 赫工博;基于多域映射对抗生成网络的人脸表情生成[D];吉林大学;2019年
10 郭凯香;人脸表情迁移和虚拟角色面部表情生成[D];湖南大学;2018年
中国重要报纸全文数据库 前2条
1 清华大学 朱健翔;人脸表情估计与表情合成[N];计算机世界;2006年
2 中科院自动化所 尹潘嵘 陶建华;情感与认知 相互触发[N];计算机世界;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978