文本-可视语音合成系统的研究及实现

【摘要】：文本-可视语音合成系统,将语音和图像两种模态结合到一起,建立了多模式人机交互接口,大大改善了人机交互的方式,在许多领域有着广泛的应用前景。为了生成具有较强真实感的,能应用于网络、嵌入式等环境的TTVS 系统,本文工作如下: 本文首先建立了一个二维标准人脸模型,并应用MPEG-4 人脸动画原理开发了二维人脸动画数据编辑工具,在此基础上建立以FAP 为驱动源的基于标准人脸的动画机制。通过改进的主动形状模型方法,开发了基于单张人脸图片的人脸模型匹配工具,从而建立了适用于任意人脸的动画机制。提出动态音节视位的概念,将文本映射为相应的音节视位。在音节视位的拼接过程中,先根据语音韵律规则对音节视位进行调整,然后根据用户指定的表情进行表情与视位融合,最后应用改进的Hermite 插值算法对音节视位进行拼接,从而合成了富有表情具有语音韵律感的人脸动画。借助科大讯飞文语合成系统,实现了语音与动画同步机制,实现了一个文本驱动的人脸语音动画系统。在原有聊天系统的基础上增加TTVS 功能,实现了一个网络语音动画聊天系统。 与以往不同,本文开发的TTVS 系统数据量小,能够实时生成,动画机制具有模型移植性,具有表情和语音韵律感,更具有真实感,能够适用于网络与嵌入式环境。 本课题受国家自然科学基金项目“虚拟人多模式行为协同关系学习算法的研究”资助。