收藏本站
收藏 | 论文排版

融合人脸表情的手语到汉藏双语情感语音转换的研究

宋南  
【摘要】:目前模式识别技术在各个领域中得到应用。手语识别技术、人脸表情识别技术以及情感语音合成技术都得到了很好的发展。但是目前大多是对手语识别、人脸表情识别以及情感语音合成方法三个方面的研究方向分别进行研究。尽管有关手语到语音的转换研究已经得到了实现,但是转换后的语音不能表达情感信息,当聋哑者与正常人进行交流的时候,他们往往会因为缺乏情感表达而理解歧义。本文针对言语障碍者的日常交流障碍问题,提出了一种融合人脸表情的手语到情感语音转换的方法。首先使用深度置信网络(Deep Belief Network,DBN)方法与深度神经网络(Deep Neural Network,DNN)方法分别得到两种手语库中预定义的手语特征,并通过DNN方法获得人脸表情特征。其次采用支持向量机(Support Vector Machine,SVM)分别进行分类,并分别获得手语文本及相应的情感标签。同时,利用普通话情感训练语料,分别采用隐Markov模型(Hidden Markov Model,HMM)方法和DNN方法,搭建了一个情感语音合成平台。最后,利用识别获得的手语文本和情感标签,将手语及人脸表情转换为普通话或藏语的情感语音。论文的主要工作与创新如下:1.识别了两种手语库并获得了手语的上下文相关标注。首先,针对30种中国字母手语,利用DBN模型提取手语特征,并结合SVM进行识别分类;针对36种美国手语,利用DNN模型进行特征提取,并采用SVM识别分类。然后,将通过手语识别得到的手语类别利用设计好的手语字典进行查找从而得到了手语文本。最终通过文本分析程序将得到的手语文本进行分析进而得到了手语文本的声韵母信息以及它的上下文信息。通过上下文相关标注形式来表示声韵母的上下文信息,其中包含普通话或者藏语声韵母信息、音节信息、词信息、韵律词信息、短语信息以及语句信息共6层信息。2.识别了两种人脸表情库并获得了情感标签。首先,通过利用DNN模型对扩充的Cohn-Kanade数据库(the extended Cohn-Kanade database,CK+)以及日本女性面部表情(Japanese female facial expression,JAFFE)数据库两种人脸表情数据库进行表情特征提取,并利用SVM识别分类。然后,通过利用人脸表情识别部分得到的情感标签,去选择对应的情感语音声学模型,进而能够通过语音合成平台合成出对应情感的语音。3.实现了手语到情感语音合成。首先,采用基于HMM的方法去训练情感声学模型,同时利用说话人自适应变换的方法得到目标情感声学模型,实现了汉藏双语情感语音合成。其次,利用基于DNN的说话人自适应方法,获得目标情感语音模型,实现了情感语音合成。最后利用DNN进行声学模型训练,再利用说话人自适应(DNN)方法,实现了汉藏双语情感语音合成。


知网文化
【相似文献】
中国期刊全文数据库 前17条
1 陈松;袁训明;;动态人脸表情合成的模型特征驱动算法综述[J];计算机与现代化;2019年07期
2 万贤美;金小刚;;真实感3D人脸表情合成技术研究进展[J];计算机辅助设计与图形学学报;2014年02期
3 王宇博,艾海舟,武勃,黄畅;人脸表情的实时分类[J];计算机辅助设计与图形学学报;2005年06期
4 邹自强,尹宝才,孔德慧;基于MPEG-4的人脸表情动画[J];北京工业大学学报;2003年01期
5 邹北骥,彭永进,伍立华,彭群生;基于物理模型的人脸表情动画技术研究[J];计算机学报;2002年03期
6 胡诗琦;;对人脸表情迁移与分析方法的探讨[J];科技与创新;2019年05期
7 刘剑;金泽群;;基于深度学习的人脸表情迁移方法[J];计算机科学;2019年S1期
8 余锐;;基于深度学习的人脸表情特征分析[J];现代计算机(专业版);2018年13期
9 谢亮;;弱光照环境下人脸表情图像识别方法研究[J];计算机测量与控制;2017年09期
10 万贤美;金小刚;;时空人脸表情动画编辑[J];计算机辅助设计与图形学学报;2013年08期
11 杨康;陈晓;彭国华;;基于统计学习的人脸表情分类[J];计算机仿真;2009年06期
12 杜志军;王阳生;;利用主动外观模型合成动态人脸表情[J];计算机辅助设计与图形学学报;2009年11期
13 李旭东;张振跃;;人脸表情的形变线性拟合方法[J];自动化学报;2008年05期
14 李旭东;;用于人脸表情图像与动画合成的图像变形方法[J];武汉大学学报(信息科学版);2007年09期
15 罗庆云;方小勇;黄樱;洪俊;魏小鹏;;人脸表情动画研究简述[J];福建电脑;2016年04期
16 范懿文;柳学成;夏时洪;;人脸表情动画与语音的典型相关性分析[J];计算机辅助设计与图形学学报;2011年05期
17 张家树,陈辉,李德芳,罗小宾,夏小东;人脸表情自动识别技术研究进展[J];西南交通大学学报;2005年03期
中国重要会议论文全文数据库 前10条
1 张楠;耿雪;张有为;;人脸表情诱因分析[A];第十三届全国信号处理学术年会(CCSP-2007)论文集[C];2007年
2 陶建华;谭铁牛;;语音和人脸表情同步的双模态情感表达研究[A];第一届中国情感计算及智能交互学术会议论文集[C];2003年
3 陈辉;张家树;;人脸表情的混沌仿生识别[A];第二届全国信息获取与处理学术会议论文集[C];2004年
4 唐京海;应自炉;张有为;;人机自然交互过程中情态的识别与融合[A];第十二届全国信号处理学术年会(CCSP-2005)论文集[C];2005年
5 陈海峰;;一种智能性自动换肤技术研究[A];第三届中国智能计算大会论文集[C];2009年
6 陈益强;高文;杨长水;姜大龙;;手语合成中的多模式行为协同韵律模型[A];第一届中国情感计算及智能交互学术会议论文集[C];2003年
7 刘芳;王志良;徐银梅;陈锋军;郭群;;应用于表情识别的黑斑特征算法的设计与实现[A];第一届中国情感计算及智能交互学术会议论文集[C];2003年
8 周吉帆;张海琦;沈模卫;;恐惧刺激对认知控制的影响[A];增强心理学服务社会的意识和功能——中国心理学会成立90周年纪念大会暨第十四届全国心理学学术会议论文摘要集[C];2011年
9 张申;吴志勇;蔡莲红;;基于局部表情参数化的三维表情脸像合成[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国人机交互学术会议(CHCI'06)论文集[C];2006年
10 王晓慧;张申;贾珈;蔡莲红;;语义脸像的分析与生成[A];第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集[C];2009年
中国博士学位论文全文数据库 前10条
1 宋明黎;人脸表情的识别、重建与合成[D];浙江大学;2005年
2 左坤隆;人脸表情自动分析与识别系统的研究[D];天津大学;2004年
3 金城;二维图像特征研究[D];浙江大学;2006年
4 王磊;人脸表情自动提取与跟踪技术研究[D];湖南大学;2007年
5 蒋斌;鲁棒人脸表情识方法研究[D];北京工业大学;2014年
6 万贤美;真实感人脸表情合成的关键技术研究[D];浙江大学;2012年
7 常江龙;三维人脸表情合成研究[D];中国科学技术大学;2009年
8 丁小羽;真实环境人脸图像分析问题研究[D];东南大学;2015年
9 方小勇;人脸运动捕捉数据处理及表情动画重构研究[D];大连理工大学;2010年
10 於俊;低比特率真实感人脸视频编码研究[D];中国科学技术大学;2010年
中国硕士学位论文全文数据库 前10条
1 宋南;融合人脸表情的手语到汉藏双语情感语音转换的研究[D];西北师范大学;2019年
2 姚院秋;基于CPR回归器的实时人脸表情跟踪与动画技术[D];上海大学;2019年
3 李可;人脸表情动画研究[D];南京大学;2019年
4 邓豪;基于人脸表情的学习兴趣评测方法研究[D];北方工业大学;2019年
5 翟蒙锁;人脸表情特征提取与识别算法研究[D];安徽工程大学;2019年
6 涂亮;基于网格模型的人脸表情合成算法研究[D];贵州大学;2019年
7 赫工博;基于多域映射对抗生成网络的人脸表情生成[D];吉林大学;2019年
8 郭凯香;人脸表情迁移和虚拟角色面部表情生成[D];湖南大学;2018年
9 丁莎莎;基于深度图像的卡通人脸表情模拟[D];长春理工大学;2018年
10 刘刚;线性回归的人脸表情模型重建及表情动画研究与实现[D];湖南大学;2016年
中国重要报纸全文数据库 前6条
1 清华大学 朱健翔;人脸表情估计与表情合成[N];计算机世界;2006年
2 中科院自动化所 尹潘嵘 陶建华;情感与认知 相互触发[N];计算机世界;2005年
3 中科院自动化所 何鹏 陶建华 谭铁牛;看懂人的“脸色”[N];计算机世界;2005年
4 记者 王思琪;冯雁:未来你会被机器人的幽默逗笑[N];第一财经日报;2015年
5 记者 范京蓉;深大与企业签约近6000万元[N];深圳特区报;2011年
6 戴盈马文博;十多年前来,就被中国的雄心所震撼[N];新华每日电讯;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978