收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于虚拟立体视约束的视角无关手语识别研究

王骐  
【摘要】: 手语识别研究致力于通过计算机将手语翻译成文字或者语音,以方便聋人与健听人之间的交流和帮助聋人更好地融入社会。 依手语数据获取方式的不同,手语识别研究通常分为基于数据手套的手语识别和基于视觉的手语识别两个类别。二者当中,基于视觉的手语识别研究,由于应用起来更为方便和自然,备受研究者所关注。然而,大多数基于视觉的手语识别研究限定摄像机的捕获视角,通常限定为正面视角。限定捕获视角意味着手语者只能在特定的空间以特定的朝向执行手语,这严重地限制着手语者的自由。 本文针对单摄像机应用中、一定范围内视角无关的手语识别,也即观测手语样本的捕获视角在一定范围内任意且未知情况下的手语识别进行研究,以在一定程度上解除对摄像机捕获视角的限定,从而方便用户的使用。这里的一定范围,是指摄像机的光轴方向与手语者正面朝向之间的角度限制在45?范围之内。数据规模初步定于中等词汇集。 重点研究如下两方面内容: 一是基于视角相关特征的视角无关手语识别研究。基于虚拟立体视约束,即“同一手语不同捕获视角下的两个样本,对齐之后可解释为由某一虚拟的立体视觉系统同步捕获的一个样本对”,本文提出一种新颖的、使用视角相关特征的视角无关手语识别框架。此框架将两个手语序列的匹配问题转化为极几何中的一个验证问题,通过验证“两个手语序列是否能被解释为由某一虚拟立体视觉系统同步捕获的一个样本对”来完成识别。由于是直接基于特征点的图像坐标进行识别,此框架提供了一种使用视角相关特征而实现视角无关手语识别的可能性。基于此框架,本文提出了三种具体的使用视角相关特征的视角无关手语识别方法,分别是基于基础矩阵唯一性的视角无关手语识别方法、基于证据理论的验证基础矩阵唯一性的视角无关手语识别方法以及基于复合帧对应的视角无关手语识别方法。实验显示了这些方法的有效性。 二是短时数据缺失下稳定而有效的视角无关手语识别方法研究。所谓数据缺失,是指手语样本中某些时刻只能提供很少的有用特征以供匹配之用或者不能提供任何有用特征的情况。很多因素都能导致数据缺失的出现,比如自遮挡、成像因素导致的图像模糊、以及特征提取算法的不完善等因素。除此之外,在视角无关的手语识别中,同一手语不同捕获视角的样本之间可视特征的不尽一致,也能够导致数据缺失的出现。数据缺失影响识别算法的有效性和可行性。本文针对短时数据缺失下稳定而有效的视角无关手语识别方法进行重点研究,提出了基于运动元顺序出现单应性的视角无关手语识别方法以及基于基础矩阵的局部采样(Sample)加全局验证(Consensus)的视角无关手语识别方法。这两种方法基于多帧图像来进行序列匹配的考察,由于多帧图像可以提供更多的有用特征,这两种方法能够有效地处理短时数据缺失情况。实验显示了这两种方法的有效性。 值得指出的是,本文提出的基于虚拟立体视约束的视角无关识别框架和因之而提出的各种视角无关识别方法不仅仅适用于手语识别,还能应用到更为广泛的领域,比如视角无关的动作识别和刚体运动分析等。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 吴江琴,高文,宋益波;HMM方法在手语识别中的应用[J];计算机工程与科学;1999年03期
2 吴江琴,高文,陈熙霖,刘伟;基于ANN/HMM的中国手语识别系统[J];计算机工程与应用;1999年09期
3 吴江琴,高文;基于DGMM的中国手语识别系统[J];计算机研究与发展;2000年05期
4 张亚新,原魁,杜清秀,邹伟;一种用于手语识别的中国手语分类方法[J];北京科技大学学报;2001年03期
5 王春立,高文,马继涌;面向大词汇量的实时连续中国手语识别系统[J];计算机学报;2002年06期
6 王春立,高文,马继勇,高秀娟;基于词根的中国手语识别方法[J];计算机研究与发展;2003年02期
7 邹伟,原魁,刘贤华,徐春;一种单手动态手指语的识别方法[J];信息与控制;2003年01期
8 吴江琴,高文,陈熙霖,马继涌;多层DGMM识别器在中国手语识别中的应用(英文)[J];软件学报;2000年11期
9 闵昆龙;韩玉杰;江淼;;基于MEMS加速度传感器的手语识别系统[J];林业机械与木工设备;2009年05期
10 柯珂;张岱;;基于SCHMM的手语识别方法的实验研究[J];现代计算机(专业版);2009年04期
11 孙丽娟;张立材;;基于边缘梯度方向直方图的静态手语识别[J];微电子学与计算机;2010年03期
12 孙丽娟;张立材;郭彩龙;;基于视觉的手势识别技术[J];计算机技术与发展;2008年10期
13 刘信;江朝晖;冯焕清;;基于方向直方图的手语识别方法研究[J];计算机仿真;2009年05期
14 姜峰;高文;王春立;姚鸿勋;赵德斌;;非特定人手语识别进展及关键问题研究思路[J];软件学报;2007年03期
15 范保玲;王民;董颖娣;;基于肤色检测技术的手势分割[J];计算机技术与发展;2008年03期
16 黄飞跃;徐光祐;;视角无关的动作识别[J];软件学报;2008年07期
17 张岱;柯珂;;一种基于SCHMM的手语识别方法[J];计算机技术与发展;2009年07期
18 张亚新,原魁,杨学良;一种用于手语识别的新型数据手套[J];北京科技大学学报;2001年04期
19 姚鸿勋,高文,王瑞,郎咸波;视觉语言——唇读综述[J];电子学报;2001年02期
20 方高林,高文,王春立,陈益强;基于SOFM/HMM模型的非特定人手语识别系统[J];计算机学报;2002年01期
中国重要会议论文全文数据库 前5条
1 汤益军;徐洁;方志刚;;嵌入式便携手语识别手套的设计[A];第九届全国信息获取与处理学术会议论文集Ⅰ[C];2011年
2 王晶;姚鸿勋;姜峰;;中国手语徒手识别系统的设计与实现[A];全国网络与信息安全技术研讨会'2005论文集(下册)[C];2005年
3 方高林;于浩;;最大熵语言模型及其在模式识别中新的应用[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
4 何文静;陈益强;刘军发;周经野;颜庆聪;;面向手语合成的运动基元获取研究[A];第六届和谐人机环境联合学术会议(HHME2010)、第19届全国多媒体学术会议(NCMT2010)、第6届全国人机交互学术会议(CHCI2010)、第5届全国普适计算学术会议(PCC2010)论文集[C];2010年
5 李金;宋阳;梁洪;;语言残障患者医疗辅助系统设计[A];第九届全国信息获取与处理学术会议论文集Ⅱ[C];2011年
中国博士学位论文全文数据库 前7条
1 周宇;中国手语识别中自适应问题的研究[D];哈尔滨工业大学;2010年
2 王骐;基于虚拟立体视约束的视角无关手语识别研究[D];哈尔滨工业大学;2008年
3 倪训博;基于手语语言学与人体运动学的手语识别研究[D];哈尔滨工业大学;2009年
4 梁秀波;现场表演驱动的动作匹配、编排与识别[D];浙江大学;2011年
5 张旭;基于表面肌电信号的人体动作识别与交互[D];中国科学技术大学;2010年
6 马继勇;手语理解的统计模型研究[D];中国科学院研究生院(计算技术研究所);2001年
7 赵章琰;表面肌电信号检测和处理中若干关键技术研究[D];中国科学技术大学;2010年
中国硕士学位论文全文数据库 前10条
1 单薇薇;基于视频的徒手手语识别方法的研究[D];大连海事大学;2011年
2 周佳;基于手势数据分析的地方手语的合成研究[D];湘潭大学;2011年
3 李国臻;多通道手语信息融合方法的研究[D];大连海事大学;2011年
4 田建勋;基于N-gram模型和句法模型的连续中国手语识别方法研究[D];中国科学技术大学;2011年
5 王文会;基于多传感器信息检测和融合的手语手势识别研究[D];中国科学技术大学;2010年
6 梁芳;融合面部信息的手语识别方法研究[D];大连海事大学;2009年
7 孙丽娟;基于边缘梯度方向直方图的中国静态手语识别[D];西安建筑科技大学;2009年
8 闵昆龙;基于MEMS加速度传感器的手势语识别系统研究[D];东北林业大学;2009年
9 范保玲;基于Hough变换和神经网络的中国静态手语识别[D];西安建筑科技大学;2008年
10 周松松;基于MLLR手语自适应方法的研究与实现[D];大连海事大学;2009年
中国重要报纸全文数据库 前1条
1 本报记者 李淼;探秘华中出版崛起之路[N];中国新闻出版报;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978