收藏本站
《兰州理工大学》 2019年
收藏 | 手机打开
二维码
手机客户端打开本文

基于单目视觉的手势交互多模态特征分析方法

张墨逸  
【摘要】:手势交互是“工业4.0”与“中国制造2050”的关键技术。在智能制造中使用手势交互,可以提高智能制造的生产效率,增加工人的工作舒适度。其中基于单目视觉的手势交互可以配合带有摄像头的普通移动设备,实现无障碍式的任意场景下的自由交互,适用于机器人的手势交互,是目前手势交互的主流。现有交互方法多针对静态手势,或只能处理简单的单模态手势,或在交互中限制性较多而影响手势交互的可用性。因此,提取手势多模态特征,对其连续变化的不同因素进行分析是很有必要的。论文针对移动机器人手势交互中手势时空变化的多样性进行研究,从不同条件下拍摄到的视频序列入手,综合运用计算机视觉、机器学习等理论和方法进行理论分析和实验,并验证所提方法在制造业环境下的可用性。重点对静态手势形状特征提取、动态手势轨迹特征提取、相机移动时动态手势特征提取、相机视角不同时动态手势特征提取、以及空中书写数字字符串的特征提取等几个关键问题展开研究。具体研究工作如下:1.由于人手是复杂的多关节非刚性物体,手掌和手指在运动中不断发生变化,高达27个自由度,要通过视觉技术分析出手势模型的高层操作特征,如指尖指向,指尖位置等,是一项非常困难和复杂的任务。针对以上问题,在简单分割条件下,提出一种图像结构特征点的提取方法;使用提取出的结构特征点建立手势模型并优化求解得到高层特征,可以进行手掌、手指和指尖定位。实验结果表明,该方法指尖点检测率为88.9%,可以在无法获得准确的手势区域边界时使用。2.现有的动态手势识别方法在诸如空中书写之类的交互系统中仍然存在识别效率低的问题。为了提高动态手势轨迹的识别效率,通过将曲率角引入特征提取,提出一种新的基于路径的轨迹特征提取方法。实验结果表明,提取出的特征能够区分形状相同但路径不同的轨迹,提高了轨迹平均识别效率至93.33%。3.移动单目相机可以极大地增加相机的拍摄视野,但是单目相机的移动会造成图像坐标系的全局运动,对手势识别中运动轨迹的观测产生影响。针对上述问题,建立并证明了一种基于单应的目标运动轨迹观测模型。该模型通过分析相机运动中拍摄到的相邻图像关键帧之间的映射关系,利用单应矩阵求解与特征点重投影得到相邻关键帧之间的目标相对运动矢量,最后得到真实的目标运动轨迹。实验结果表明,使用该模型进行移动单目相机环境下的动态手势特征分析,轨迹的平均识别率提高了25%,平均处理速度为1.47秒/视频,可以达到应用要求。4.当相机角度不同时,拍摄的同一运动轨迹会形成不同的轨迹投影,从而影响轨迹的识别与应用。针对这一问题,在平面目标手势平面运动的情况下,提出了基于运动信息的相机位姿自标定模型和与视角无关的手势运动特征提取方法,并将其扩展到基于辅助物的任意手势平面运动情况。(1)在平面目标手势平面运动情况下,基于相机小孔成像模型与特征点运动约束,建立了一种相机位姿自标定模型;然后利用标定出的相机位姿恢复运动轨迹的三维信息;最后通过轨迹重投影,将轨迹图像校正为正投影图像,实现与视角无关的手势运动特征提取。(2)在前面相机位姿自标定模型的基础上,将特征点属于同一平面的约束改为特征点平面运动约束,建立新的相机位姿自标定模型来标定相机位姿,最终将与视角无关的手势运动特征提取扩展到基于辅助物的任意手势平面运动情况。实验结果表明,对轨迹进行视角归一化后,提取出的手势运动轨迹与正面拍摄的运动轨迹相似,平均识别效率提高了22%。5.在手势空中书写的连续书写过程中,会出现语义手势序列与过渡手势序列,如何通过视觉技术,识别书写中的不同状态,进而对连续的手势字符串进行识别?针对这一问题,提出了一种基于用户行为分析的手势字符串特征提取与识别方法。该方法首先从认知理论的角度,建立手势微观行为模型;然后获取手势序列关键帧对手势序列进行划分;最后结合神经网络与最优化模型,找出整体识别率最优的手势字符串做为识别结果。实验结果表明,该方法可以实现由两个数字组成的手势字符串分割与识别,单个数字的查准率为86.5%。
【学位授予单位】:兰州理工大学
【学位级别】:博士
【学位授予年份】:2019
【分类号】:TP391.41;TP242

【参考文献】
中国期刊全文数据库 前10条
1 张墨逸;张秋余;芦俊池;段宏湘;;基于结构特征点的手势建模与高层特征提取[J];华中科技大学学报(自然科学版);2015年10期
2 廖娟;王江;徐亮;李勃;陈启美;;相机抖动场景下的运动前景检测算法[J];南京大学学报(自然科学);2015年02期
3 蔡娴娟;程成;Alhazmi Marwah;Mostafa Hamdy Salem;MongHeng Ear;;虚拟制造环境中虚拟手的行为构造[J];计算机辅助设计与图形学学报;2015年03期
4 姚远;张林剑;乔文豹;;RGB-D图像中手部样本标记与手势识别[J];计算机辅助设计与图形学学报;2013年12期
5 刘春生;常发亮;陈振学;李爽;;改进的高斯肤色模型及其在人脸检测中的应用[J];仪器仪表学报;2012年05期
6 冯志全;杨波;郑艳伟;徐涛;李毅;朱德良;;基于特征点分布分析的手势特征检测方法[J];计算机集成制造系统;2011年11期
7 包加桐;宋爱国;郭晏;唐鸿儒;;基于SURF特征跟踪的动态手势识别算法[J];机器人;2011年04期
8 杨波;宋晓娜;冯志全;郝晓艳;;复杂背景下基于空间分布特征的手势识别算法[J];计算机辅助设计与图形学学报;2010年10期
9 朱继玉;王西颖;王威信;戴国忠;;基于结构分析的手势识别[J];计算机学报;2006年12期
10 任海兵,祝远新,徐光祐,林学訚,张晓平;连续动态手势的时空表观建模及识别[J];计算机学报;2000年08期
中国博士学位论文全文数据库 前1条
1 赵汗青;面向人工假肢的表面肌电信号人手抓取动作研究[D];哈尔滨理工大学;2016年
中国硕士学位论文全文数据库 前1条
1 蒋娟;机器人虚拟装配建模与路径规划技术研究[D];电子科技大学;2013年
【共引文献】
中国期刊全文数据库 前10条
1 杨博雄;胡旭华;黄静;;利用Kinect手部跟踪构造手势空间点集进行指尖定位的研究与实现[J];北京师范大学学报(自然科学版);2015年06期
2 毕雪芹;惠婷;;基于肤色分割与AdaBoost算法的人脸检测[J];国外电子测量技术;2015年12期
3 余问鼎;刘春;邵雄凯;;基于手指几何特征的移动设备视觉手势识别研究[J];黄冈师范学院学报;2015年06期
4 董晓峰;顾晓文;王业;朱国防;;电网倒闸操作票智能监护系统设计[J];中国电力;2015年12期
5 严利民;杜斌;李跃;潘浩;;基于深度数据的关键特征点提取及动态手势轨迹识别[J];工业控制计算机;2015年11期
6 VanBang L E;朱煜;赵江坤;陈宁;;基于深度图像HOG特征的实时手势识别方法[J];华东理工大学学报(自然科学版);2015年05期
7 王建玺;李玮瑶;;基于改进Adaboost算法的人脸检测[J];微处理机;2015年05期
8 张墨逸;张秋余;芦俊池;段宏湘;;基于结构特征点的手势建模与高层特征提取[J];华中科技大学学报(自然科学版);2015年10期
9 杨晓东;陈益强;于汉超;刘军发;李展歌;;面向可穿戴设备的超声波手势识别方法[J];计算机科学;2015年10期
10 严利民;李跃;杜斌;潘浩;;基于关键特征点运动轨迹的动态手势识别[J];光电子技术;2015年03期
中国博士学位论文全文数据库 前2条
1 张墨逸;基于单目视觉的手势交互多模态特征分析方法[D];兰州理工大学;2019年
2 徐军;基于计算机视觉的手势识别及人机交互技术的应用研究[D];东南大学;2018年
中国硕士学位论文全文数据库 前8条
1 张立军;交互式变速箱虚拟装配技术的研究[D];长春工业大学;2018年
2 方金鹏;超高压输电线巡检机器人结构设计及关键技术分析[D];浙江工业大学;2017年
3 李慧;面向机器人自动化作业的产品装配规划技术研究[D];哈尔滨工业大学;2017年
4 潘仁宇;基于Open CASCADE平台的连续碰撞检测方法研究[D];大连海事大学;2017年
5 王强;多机器人作业系统交互式碰撞检测与仿真实现[D];北方工业大学;2016年
6 吴先哲;虚拟现实技术在船舶动力舱设备装配过程中的应用研究和实现[D];集美大学;2016年
7 张永慧;面向虚拟装配的作业仿真及工效分析方法研究[D];哈尔滨工业大学;2015年
8 王慧娟;智能机器人物理仿真技术的研究与实现[D];电子科技大学;2014年
【二级参考文献】
中国期刊全文数据库 前10条
1 ;Human knowledge acquisition from 3D interaction in virtual environments[J];Science China(Information Sciences);2012年07期
2 冯志全;杨波;郑艳伟;徐涛;李毅;朱德良;;基于特征点分布分析的手势特征检测方法[J];计算机集成制造系统;2011年11期
3 李瑞峰;曹雏清;王丽;;基于深度图像和表观特征的手势识别[J];华中科技大学学报(自然科学版);2011年S2期
4 高凯亮;覃团发;陈跃波;常侃;;一种混合高斯背景模型下的像素分类运动目标检测方法[J];南京大学学报(自然科学版);2011年02期
5 李伟红;王兵;龚卫国;辜小花;;多尺度光照不变人脸特征图像的提取方法[J];仪器仪表学报;2011年01期
6 李澍;刘毅;王念东;;虚拟环境中的多手指抓取操作技术[J];计算机辅助设计与图形学学报;2010年10期
7 杨波;宋晓娜;冯志全;郝晓艳;;复杂背景下基于空间分布特征的手势识别算法[J];计算机辅助设计与图形学学报;2010年10期
8 刘冲;张均东;曾鸿;任光;纪玉龙;;基于支持向量机的无穷维AdaBoost算法及其应用[J];仪器仪表学报;2010年04期
9 张争珍;石跃祥;;YCgCr颜色空间的肤色聚类人脸检测法[J];计算机工程与应用;2009年22期
10 徐东彬;黄磊;刘昌平;;自适应核密度估计运动检测方法[J];自动化学报;2009年04期
中国硕士学位论文全文数据库 前5条
1 章一通;虚拟装配及运动仿真系统的设计与实现[D];北京邮电大学;2012年
2 朱理劲;基于Web的机械零部件智能虚拟装配研究[D];华南理工大学;2010年
3 张国民;虚拟机器人在中学教育中的应用研究[D];浙江师范大学;2009年
4 徐锦成;基于装配特征的快速装配建模的理论研究与应用[D];西安电子科技大学;2005年
5 干国胜;教育机器人的设计与应用研究[D];华中师范大学;2004年
【相似文献】
中国期刊全文数据库 前10条
1 冯砚厅;申军辉;艾增栋;;铁塔单目视觉测量技术研究[J];河北电力技术;2012年06期
2 张学习;杨宜民;何启承;夏益民;;基于前向单目视觉的机器人自定位研究[J];激光与红外;2008年08期
3 齐新皓;苏秀云;马国;李韶钦;曾登苑;;单目视觉自动跟随小车的设计[J];机器人技术与应用;2018年05期
4 唐新庄;孙知明;贾晓梁;贺丹;;单目视觉定位中的相机标定[J];地理空间信息;2012年03期
5 杨清玲;常鹏;;基于单目视觉导航的智能化岸标巡检技术[J];珠江水运;2019年09期
6 程凡;毛琳;杨大伟;;单目视觉行人身体多部件距离融合估计算法[J];大连民族大学学报;2018年05期
7 郭继峰;白成超;郭爽;;基于深度学习的单目视觉深度估计研究综述[J];无人系统技术;2019年02期
8 吴高德;陈俊华;詹建民;马剑强;刘年福;周甫;;单目视觉在棒料全自动上下料系统中的应用[J];传感器与微系统;2017年01期
9 彭江涛;李希;孟华林;杨冬;;基于单目视觉的自动导引车导航系统研究[J];机械制造;2017年06期
10 韩延祥;张志胜;戴敏;;用于目标测距的单目视觉测量方法[J];光学精密工程;2011年05期
中国重要会议论文全文数据库 前10条
1 朱兴龙;丁海洋;尹珺瑶;;单目视觉与激光点复合测距技术研究进展[A];中国机械工程学会机械自动化分会&中国自动化学会制造技术专委会学术工作进展报告 2017[C];2017年
2 沈乐君;刘青;李林;岳海鹏;;从体育比赛视频中获取球体三维轨迹的单目视觉方法[A];2015第十届全国体育科学大会论文摘要汇编(一)[C];2015年
3 刘磊;王永骥;;基于单目视觉的机器人动态目标识别与跟踪[A];第二十六届中国控制会议论文集[C];2007年
4 蒋小强;卢虎;贺磊南;高云;;一种基于单目视觉的WiFi辅助室内定位算法[A];第九届中国卫星导航学术年会论文集——S10 多源融合导航技术[C];2018年
5 徐惠钢;;浮空器姿态的单目视觉测量解析算法[A];苏州市自然科学优秀学术论文汇编(2008-2009)[C];2010年
6 杨峰;陈荣保;肖本贤;张崇巍;李天庆;;基于单目视觉的机器人状态监测方法研究[A];中国仪器仪表学会第九届青年学术会议论文集[C];2007年
7 刘国成;王永骥;;一种基于粒子滤波的单目视觉目标跟踪算法[A];第二十七届中国控制会议论文集[C];2008年
8 王宇韬;方勇纯;;鲁棒单目视觉SLAM系统研究[A];中国自动化学会控制理论专业委员会C卷[C];2011年
9 危刚;冯智勇;汪小凯;徐粒;;基于机器视觉的桥式起重机防斜拉控制系统设计[A];第37届中国控制会议论文集(E)[C];2018年
10 张鋆豪;杨旭升;冯远静;李永强;张文安;;基于自适应无迹卡尔曼滤波和单目视觉的运动刚体位姿估计[A];第37届中国控制会议论文集(C)[C];2018年
中国博士学位论文全文数据库 前10条
1 张墨逸;基于单目视觉的手势交互多模态特征分析方法[D];兰州理工大学;2019年
2 周劲草;基于级联单目视觉感知技术的客运车辆危险行驶状态辨识研究[D];长安大学;2018年
3 刘毅;基于单目视觉的实时高精度定位方法研究[D];华中科技大学;2018年
4 胡立华;大型物体的单目视觉测量理论与方法[D];太原科技大学;2015年
5 冷大炜;基于单目视觉的三维刚体目标测量技术研究[D];清华大学;2011年
6 孙玉娟;基于单目视觉的弱约束三维表面重建[D];中国海洋大学;2014年
7 洪裕珍;空间非合作目标的单目视觉姿态测量技术研究[D];中国科学院光电技术研究所;2017年
8 赵敏;单目视觉多行人目标检测与跟踪技术研究[D];重庆大学;2010年
9 陈伟;单目视觉移动机器人的定位与建图研究[D];国防科学技术大学;2008年
10 张远辉;基于实时视觉的乒乓球机器人标定和轨迹跟踪技术研究[D];浙江大学;2009年
中国硕士学位论文全文数据库 前10条
1 孙宇;基于单目视觉的工件识别跟踪方法研究[D];安徽工程大学;2019年
2 于合强;局限空间中基于单目视觉的四旋翼飞行器的位姿预估与导航[D];东北大学;2015年
3 钟静连;基于单目视觉的车辆防撞预警系统的技术研究[D];南京理工大学;2018年
4 刘兵兵;基于单目视觉的行车状态目标检测与测距[D];东北大学;2015年
5 刘凌惠;基于单目视觉的障碍物检测研究与实现[D];东北大学;2015年
6 黄海飞;遮挡场景下基于单目视觉的室内行人定位算法优化及实现[D];东南大学;2017年
7 张中元;基于倾角传感器的单目视觉定位系统的设计与实现[D];哈尔滨工程大学;2018年
8 赵丹;面向单目视觉测量的合作目标优化研究[D];哈尔滨工业大学;2018年
9 许峰;基于单目视觉的多传感器组合导航算法研究[D];合肥工业大学;2018年
10 谢彦昆;基于单目视觉的自平衡车编队行进控制设计与实现[D];重庆大学;2018年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026