收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于表观建模的中国手语识别技术研究

杨全  
【摘要】:研究中国手语的识别技术,就是为了把聋人使用的手语通过计算机自动、高效地完成机器翻译,从而实现手语与自然语音的无障碍交流。这种方式便于聋人融入社会,有利于他们与周围环境的交流,为其提供更好的服务。同时,手语识别在其他应用领域,也有着深远的研究意义。基于计算机视觉的手语识别作为一种自然、直观的交互方式,无需附加的物理设备作为输入,在人机交互过程研究中占很大比重,能够广泛地应用于多学科领域。作为一个非常有意义的研究课题,手语识别的研究,不仅有助于改善、提高聋人的生活、学习和工作环境,也能够提高计算机对人类自然语言的理解水平,发展成为一种能够付诸应用的最自然的人机交互方式。 本文从自然交互方式的角度出发,研究了基于机器视觉的手语手势跟踪、手势分割提取、手语表观建模、SVM核函数构建算法及中国手指语字母的识别。具体研究工作包括以下几个方面: (1)根据Kinect同步拍摄深度视频信息的特点,使用手语视频中的深度图像信息对CamShift加以改进,提出了一种在复杂场景下跟踪能力更强、抗干扰性能更好的,适于手语识别应用的DI_CamShift (Depth Image CamShift)算法。采用基于深度图像信息的跟踪算法在手语视频中确定手势区域,对手语手势进行定位跟踪。在手势提取方面,通过计算手势深度图像确定手势的主轴方向,提出了一种基于深度图像信息的椭圆边界肤色建模方法。 (2)在复杂背景下的手势提取过程中,结合椭圆边界肤色模型,得出新的基于深度积分图像的二维OTSU算法,并将积分图和粒子群结合用于二维OTSU算法,提出了基于深度积分图和粒子群优化的OTSU算法提取手势图像。 (3)在手语表观建模时,为了使其各种视觉特征均可以被描述的更为准确,同时提取了SURF特征,Gabor小波纹理特征和颜色直方图特征,作为手势表观特征的完备特征集。在解决手势图像局部特征点个数不同的问题时,本文提出使用BoW (Bag of Words)方法,把提取出的手语完备特征集量化生成手语视觉单词(Sign Language Visual Word)。对提取到的手势特征,采用K-Means聚类算法,生成手语SURF词包、Gabor词包和颜色直方图词包,最后把所有词包经过CCA融合后的结果作为手语的特征。 (4)研究了SVM及核函数理论,通过提取相同的手势特征对单核SVM分类器进行训练,比对研究不同核函数SVM在手语识别中的效果。提出构建一种新的适于手语识别的核函数H_Kernel,并证明了H_Kernel满足Mercer条件,可以作为用于手语识别的SVM核函数。鉴于手语BoW模型并未考虑语义信息,所以本文提出构建基于H Kernel和BoW语义核的混合核函数SVM进行训练学习及手语识别。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 李松涛,张长水,荣钢,边肇祺;一种基于最小二乘估计的深度图像曲面拟合方法[J];自动化学报;2002年02期
2 谢凯,汤晓安,郝建新,蔡宣平;一种基于多幅深度图像的混合建模方法[J];小型微型计算机系统;2003年01期
3 娄嘉鹏,李德华,吴险峰,薛雷;深度图像的平滑[J];计算机与数字工程;2003年01期
4 曾艳丽,郑飞,周翔波,曾洪梅;基于全景深度图像的汽车外形重建方法[J];微机发展;2004年02期
5 李海军;潘晓露;李一民;吴刚;罗明刚;;平行双目视觉系统中深度图像的生成与分析[J];计算机与数字工程;2006年02期
6 赵翠莲;周凯;范志坚;陈昱;;基于深度图像的多特征孔洞填补方法研究[J];机械设计与研究;2008年03期
7 赵翠莲;范志坚;孙亮;陈昱;;体素连通性的深度图像拉伸特征提取[J];光学精密工程;2009年04期
8 张世辉;张煜婕;孔令富;;一种基于深度图像的自遮挡检测方法[J];小型微型计算机系统;2010年05期
9 代明睿;张晓鹏;李红军;;基于高噪声深度图像的树木模型重建[J];中国体视学与图像分析;2010年02期
10 杨琨;;基于红绿双色多线激光的三维深度图像系统[J];潍坊学院学报;2010年06期
11 张世辉;张煜婕;孔令富;;结合深度图像和最佳分割阈值迭代的自遮挡检测算法[J];高技术通讯;2010年07期
12 赵翠莲;施晓磊;荣坚;范志坚;;基于坐标轴投影勘察的深度图像树型分割[J];光学精密工程;2011年06期
13 许小艳;廖晓峰;刘然;易琳;张小云;;基于深度图像绘制的视图合成[J];系统仿真学报;2011年10期
14 杜霄鹏;郝建平;李星新;杨俊;;基于单一深度图像的人体姿态实时识别技术研究[J];计算机与现代化;2012年04期
15 罗莎莎;郭太良;;一种二维图像序列的深度图像生成方法[J];计算机与现代化;2012年05期
16 林鹏;张超;李竹良;赵宇明;;基于深度图像学习的人体部位识别[J];计算机工程;2012年16期
17 杨全;彭进业;;基于深度图像信息的手语识别算法[J];计算机应用;2013年10期
18 曹昊;诸宸辰;李杨;;一种深度图像中人体的实时跟踪算法[J];计算机工程;2013年09期
19 江文婷;龚小谨;刘济林;;颜色指导的深度图像升采样算法的对比性研究[J];杭州电子科技大学学报;2014年01期
20 韩文锡;张维忠;赵志刚;汪俊;张峰;;基于深度图像的人体骨骼点跟踪矫正方法[J];青岛大学学报(自然科学版);2014年01期
中国重要会议论文全文数据库 前2条
1 孙晓兰;赵惠洁;祝世平;;基于深度图像的边缘检测方法研究[A];2004全国光学与光电子学学术研讨会、2005全国光学与光电子学学术研讨会、广西光学学会成立20周年年会论文集[C];2005年
2 徐秀英;刘卓;王博亮;;一种基于三角函数的深度图像曲面拟合方法[A];第十二届全国图象图形学学术会议论文集[C];2005年
中国博士学位论文全文数据库 前5条
1 李世飞;基于深度图像的三维目标识别技术研究[D];国防科学技术大学;2010年
2 丁雅斌;隐式表达三维模型流水线的关键技术研究[D];天津大学;2007年
3 丁益洪;立体足迹三维曲面分割与识别[D];解放军信息工程大学;2005年
4 许小艳;多视点视频中的视图合成[D];重庆大学;2011年
5 杨全;基于表观建模的中国手语识别技术研究[D];西北大学;2013年
中国硕士学位论文全文数据库 前10条
1 周颖;深度图像的获取及其处理[D];西安电子科技大学;2008年
2 吕渭萍;多视点深度图像的配准方法研究与实现[D];电子科技大学;2008年
3 张煜婕;基于深度图像信息的视觉目标自遮挡检测方法研究[D];燕山大学;2010年
4 曾丽丽;基于深度图像信息的最佳观测方位研究[D];燕山大学;2010年
5 禹永萍;基于深度图像的三维重建技术研究[D];中北大学;2010年
6 王海峰;深度图像配准技术的研究及在古遗址数字化展示中的应用[D];西北大学;2011年
7 宋晓卿;基于深度图像的三维重建配准算法研究[D];中北大学;2011年
8 任卿;基于多深度图像的三维重建技术研究[D];浙江大学;2006年
9 林鹏;基于深度图像学习的人体部位识别[D];上海交通大学;2012年
10 曲晓伟;基于深度图像的视觉目标下一最佳观测方位确定方法研究[D];燕山大学;2012年
中国重要报纸全文数据库 前1条
1 深圳商报记者 徐明天 实习生 桂馨;电视机可借助电力线上网[N];深圳商报;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978