收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

唇读发声器中视觉信息的检测与处理

王蒙军  
【摘要】: 为恢复那些后天致残、但仍然具有正确唇形特征语言残障者的语音表达能力,探索建立一个基于视觉信息的唇形识别发声系统,本研究把从嘴唇图像序列中提取的视觉信息作为一种特殊语言加以分析识别。在研究中,对视觉信息检测与处理中的一些基本问题,如视觉信息与语音信息的对应关系,嘴唇区域和唇形轮廓所包含的信息量,最佳唇读系统特征向量的选取,以及自动有效地提取与识别唇形特征的方法进行了深入分析。 论文的主要研究内容包括: 1.通过分析正面和侧面视角下人脸图像的特点,建立一种新的非对称唇形轮廓描述模型,其中既包含嘴唇高度、宽度等信息,又包含嘴唇突出度信息,同时计算各个参数对时间的导数,来获得唇形轮廓的动态信息,通过组合不同的特征参数,分析参数选择对识别效果的影响,基于独立汉字发音的实验表明,该模型能够将识别效果平均提高25%以上。并且据此模型设计建立了基于常用汉字、面向残疾人的汉语双模语音数据库。 2.基于运动检测和数学形态学方法对唇动序列的灰度图像进行处理,得到唇形区域和唇形轮廓,然后从唇形区域提取嘴唇宽度的投影W ,外唇轮廓的高度H ,嘴唇突出度的投影信息F ,并且考察它们对时间的导数关系,得到dW /dt , dH /dt , dF /dt等差分特征参数,组合形成6维几何特征向量。 3.利用离散傅里叶变换(DFT)和离散余弦变换(DCT)分别得到描述唇形轮廓特征的傅里叶描述子和离散余弦变换描述子,然后将两类描述子作为唇形轮廓的特征向量,采用隐马尔可夫模型(HMM)进行学习和识别,分析了两类描述子刻画唇形轮廓特征的能力。 4.采用特征融合技术提高特征向量分类识别能力,用串联加权组合的方法,将唇形区域几何特征向量和由离散余弦变换描述子表述的唇形轮廓特征向量融合形成新的特征向量,应用HMM对其进行学习和识别,分析不同加权因子下的识别效果。 5.选用二阶HMM来对唇形特征参数序列进行学习和识别,利用了各帧唇形特征向量之间的上下文相关性,更符合汉语发音方式,通过实验分析比较了一阶HMM和二阶HMM对相同特征向量的识别能力。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 伍亚舟;吴宝明;何庆华;;基于脑电的脑-机接口系统研究现状[J];中国临床康复;2006年01期
2 李刚;王蒙军;林凌;;面向残疾人的汉语可视语音数据库[J];中国生物医学工程学报;2007年03期
3 王蒙军;李刚;林凌;曾锐利;;唇动图像序列的加权组合特征分析[J];光学精密工程;2008年03期
4 王蒙军;田间;王霞;李刚;;利用汉语语音音素帧间相关性的唇形特征识别[J];河北工业大学学报;2010年03期
5 周潇枭;;两亿人的酒精战争[J];中国新闻周刊;2010年20期
6 陆光华,张立群,单佩钧;截瘫病人完成下肢运动的肌电信号分辨[J];西安电子科技大学学报;1994年04期
7 王少海;唐卫忠;汪大林;;口腔修复计算机比色软件系统的研制[J];中国组织工程研究与临床康复;2007年22期
8 潘瑶瑶;;用科技之灯重燃生命激情——清华大学季林红教授与他的神经康复机器人研究[J];中国高校科技与产业化;2010年Z1期
9 蒋洪涛;王耀才;石艺尉;;三维运动测量系统[J];电子测量与仪器学报;1992年03期
10 甘代伟;;手指康复机械手研究现状[J];广西轻工业;2010年02期
11 张春芳,郭明;CJKF库的用户调研分析[J];中华医学图书情报杂志;1996年02期
12 张人骧,鹿鸣,兰祖云,张鸿姿;应用电阻应变法对人工关节进行研究[J];仪器仪表学报;1983年04期
13 ;山西首家康复专科医院在太原成立[J];前进;1994年04期
14 王爱华;;因特网上中文康复医学站点导航[J];中华医学图书情报杂志;2006年01期
15 杜春梅;崔建国;田丰;;二维相空间中肌电信息熵的计算[J];控制工程;2006年S1期
16 斯琴,康仁科;CAD/CAM技术在医疗康复中的应用[J];组合机床与自动化加工技术;2004年04期
17 郑淑贤,赵万华,范晓逶,卢秉恒;残肢超声图像重建及骨骼与皮肤特征提取[J];中国康复理论与实践;2005年03期
18 刘凤书;康复医学信息资源建设的方案构想[J];情报学报;1998年S1期
19 ;[J];;年期
20 ;[J];;年期
中国重要会议论文全文数据库 前10条
1 王珏;张锋;张健保;徐进;李延海;陈龙伟;陈艳妮;;《康复工程》精品课程建设之思考[A];第七届全国康复医学工程与康复工程学术研讨会论文集[C];2010年
2 赵展;喻洪流;;康复工程专业实验教学模式探索[A];第七届全国康复医学工程与康复工程学术研讨会论文集[C];2010年
3 喻洪流;;国内外康复工程教育发展状况[A];中国康复医学会康复治疗专业委员会康复辅助器具学组成立暨全国康复辅助器具学术研讨会论文汇编[C];2011年
4 孙元;张育成;;康复工程的科—工—贸结合问题[A];中国康复医学会第四届会员代表大会暨第三届中国康复医学学术大会论文汇编[C];2001年
5 胡天培;;康复工程在上海交通大学[A];中国康复医学会第四届会员代表大会暨第三届中国康复医学学术大会论文汇编[C];2001年
6 金德闻;季林红;张济川;;康复工程研究的新进展[A];中国康复医学会第四届会员代表大会暨第三届中国康复医学学术大会论文汇编[C];2001年
7 张济川;金德闻;;康复工程20年发展历程的回顾与展望[A];继往开来 与时俱进——2003年康复医学发展论坛暨庆祝中国康复医学会成立20周年学术大会论文集[C];2003年
8 Seelman Katherine D;Brienza David M;王珏;;美国康复工程发展与动态[A];中国康复医学会第四届会员代表大会暨第三届中国康复医学学术大会论文汇编[C];2001年
9 金德闻;张济川;;康复工程中生物机械学研究及应用[A];第七届全国康复医学工程与康复工程学术研讨会论文集[C];2010年
10 张济川;金德闻;;康复工程在现代康复医学中的作用及其进展[A];第六次全国运动疗法学术会议论文集[C];2002年
中国博士学位论文全文数据库 前2条
1 王蒙军;唇读发声器中视觉信息的检测与处理[D];天津大学;2007年
2 杨年峰;人体运动协调规律及其参数化描述[D];清华大学;2001年
中国硕士学位论文全文数据库 前10条
1 杨帆;贫困残疾儿童康复工程信息系统设计与实现[D];华中师范大学;2011年
2 吴证;人脸特征点定位研究及应用[D];上海交通大学;2007年
3 曾勇;肌音信号模式识别及其在假肢手操控中的应用研究[D];华东理工大学;2011年
4 吴丽萍;面向智能假肢的表面肌电信号采集与处理[D];东南大学;2006年
5 颜坤剑;康复嗓音源提取及评价方法的研究[D];北京交通大学;2008年
6 王浩;智能肌电假手控制系统研究[D];大连理工大学;2004年
7 任宇鹏;辅助上肢运动功能康复机器人的控制和评价系统研究[D];清华大学;2004年
8 金旭林;基于USB接口的脑电信号采集系统的开发[D];华中科技大学;2005年
9 张峥;惯性步态测量系统的研究[D];武汉理工大学;2006年
10 李慎旺;人造骨骼造型及加工方法[D];河北工业大学;2006年
中国重要报纸全文数据库 前10条
1 记者熊昌彪;中国心脑血管病专家防治康复工程启动[N];中国中医药报;2003年
2 见习记者 林明 报道组 周梅红;光明在,希望就在[N];温州日报;2007年
3 朱世德;遵义“五个一”康复工程惠泽2万余残疾人[N];贵州日报;2006年
4 陈士健 肖保进 何宜坦;东海全国首家启动白内障康复工程[N];连云港日报;2010年
5 ;全国助老委、步长集团联合开展中国专家心脑血管病防治、康复工程进入实施[N];科技日报;2003年
6 林永森;以人为本防治尘肺 社会关爱倍暖人心[N];福建日报;2007年
7 刘冰石通讯员 王华维;“康复工程”助残疾人自立[N];安徽日报;2007年
8 冯远模 罗华山;遵义市“五个一”康复工程成效显著[N];贵州日报;2006年
9 魏文;百万人参与养生康复工程万里行[N];工人日报;2008年
10 记者 吴胜军 通讯员 梁国栋;遂平县推进残疾人康复工程进社区进农村[N];驻马店日报;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978