收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Leap Motion的动态手势识别

陈吉安  
【摘要】:作为人机交互的重要方式之一,动态手势识别技术在“国家重点研发计划”中被多次强调,已经引起了各行各业的广泛关注。此前,大多数的研究都是通过普通摄像头来捕捉动态手势从而获得手部特征信息,但这类信息通常比较粗糙且不能很好的代表动态手势。而随着一批深度视觉传感器如Leap Motion的出现,为动态手势识别研究带来了可靠的数据保障。但是目前基于Leap Motion,国内外研究人员在一些美式手语和日常手势的分类与识别研究上取得的识别准确率不是很高。因此,本文旨在提高对这类常用动态手势的识别准确率,提出一种基于Leap Motion和双向长短期记忆网络的识别系统,在选择哪些手势特征来代表动态手势、如何有效地捕捉到动态手势和如何设计合适的识别模型这三个方面来进行研究。首先,针对选择哪些手势特征来代表手势,本文提出了一种能有效代表动态手势的手势特征向量组。向量组中的每一个向量均由26个手势特征值组成,这26个手势特征值可以分为六大类,分别是指尖与掌心的距离、手指与掌平面夹角、指尖距离掌平面的高度、相邻两指间距、相邻两指与掌心连线夹角和掌心坐标。向量组中向量的个数随动态手势执行时间变化。然后,针对如何有效地捕捉到动态手势,本文设计了一种有效的动态手势采集算法。通过侦测Leap Motion中当前帧和前一帧之间的掌平面三维转动差角和当前帧中手指的移动速度,来判定动态手势的开始和结束,进而采集有效的动态手势。当手掌在传感器三维坐标系中的旋转角度大于对应阈值或者指尖移动速度大于对应阈值,则判定为动态手势执行开始且传感器开始传输手势特征值;当手掌旋转角度和指尖移动速度同时小于等于对应阈值,则判定为动态手势执行结束且传感器停止传输手势特征值。通过采集算法和代表手势的特征值,本文建立了三个动态手势库:带360个样本的美式手语库、带480个样本的美式手语库和带300个样本的工艺手势库。接着,针对如何设计合适的识别模型,本文提出了一种新颖的动态手势识别模型:两层的双向长短期记忆网络。该模型主要由两个双向长短期记忆网络竖向堆叠而成,结合高斯初始化网络参数、周期循环变化学习率、随机失活网络元素和Adam梯度下降。最后,将所建立的三个动态手势库分别按7:3、6:4和7:3的比例划分成训练集和测试集,对所设计的分类识别系统进行了详细的测试、验证与比较。其中,在包含360个样本的美式手语库上,该识别系统在训练集和测试集上分别达到了100%和96.3%的准确率。在包含480个样本的美式手语库上,该识别系统在训练集和测试集上分别达到了100%和95.2%的准确率。在工艺手势库上,该识别系统在训练集和测试集上分别达到了100%和96.7%的准确率。为了进一步验证模型的识别效果,本文对其进行了五折、十折和留一交叉验证。在五折交叉验证中,识别系统在带360个样本的美式手语库上达到了93.33%的准确率;在带480个样本的美式手语库上达到了93.75%的准确率;在工艺手势库上达到了88.66%的准确率。在十折交叉验证中,识别系统在三个动态手势库上分别达到了94.1%、93.5%和90%的准确率。在留一交叉验证中,识别系统在三个动态手势库上分别达到了94.7%、96.4%和90.3%的准确率。与此同时,在同等条件下,将所得实验结果与国内外的研究结果进行对比。结果表明该识别系统在特定动态手势上的识别准确率高于国内外研究中的识别准确率,表现出了更好的识别性能。


知网文化
【相似文献】
中国期刊全文数据库 前15条
1 刘权;陈一民;高明柯;李启明;黄晨;;基于Leap Motion传感器的自适应动态手势识别[J];计算机应用与软件;2017年02期
2 严雨灵;陈闵叶;吕亚辉;;基于Leap Motion的三维动态手势识别研究[J];智能计算机与应用;2020年01期
3 马力;冯瑾;;基于Leap Motion的动态手势识别研究[J];计算机与数字工程;2019年01期
4 高宇;何小海;吴晓红;王正勇;张豫堃;;基于Leap Motion的动态手势识别方法[J];计算机系统应用;2019年11期
5 王红全;淮永建;;基于Leap Motion手势识别方法在树木交互的应用[J];计算机应用与软件;2018年10期
6 周鲜子;;Leap Motion的现状及展望[J];黑龙江科技信息;2017年15期
7 张起浩;蒋少国;蒋青山;赵鹏;;基于Leap Motion和卷积神经网络的手势识别[J];物联网技术;2019年10期
8 姜檬;郭仁春;李俊龙;王志淳;;基于Leap Motion手语语音转换的设计与实现[J];无线互联科技;2020年07期
9 严根伟;毛丽民;梁艺瑶;张嘉颖;;基于Leap Motion手势识别机械臂的研究[J];常熟理工学院学报;2020年02期
10 叶勇健;谭超;田美艳;黄晓清;;智能设备手势指挥系统的探究[J];电子科学技术;2017年01期
11 冯毕庆;孙天一;廖敦强;黄燕;陈光磊;韩桂明;;智能手势识别系统[J];电子世界;2020年10期
12 李懿;;基于混合运动数据的实时手势识别[J];福建电脑;2018年12期
13 牟云环;;基于手势识别的虚拟沙画展示系统的设计与实现[J];电子设计工程;2018年20期
14 党小超;刘洋;郝占军;曹渊;;一种信道状态信息下的复杂动态手势识别方法[J];小型微型计算机系统;2020年01期
15 刘春;李秋雨;;Leap Motion体感控制器及其在飞机结构展示系统中的应用[J];计算机应用与软件;2016年04期
中国重要会议论文全文数据库 前20条
1 王天行;杨佩;周献中;陈姣;章慧钰;;基于多Leap Motion的手势遥控无人平台方法研究[A];第五届中国指挥控制大会论文集[C];2017年
2 祝远新;徐光佑;黄浴;林学;俞志和;;一个基于表观的孤立手势识别系统[A];中国图象图形科学技术新进展——第九届全国图象图形科技大会论文集[C];1998年
3 陈涛;刘林盛;刘明辉;陈金禄;;基于毫米波雷达的手势识别方法[A];四川省第十五届汽车学术年会论文集[C];2021年
4 张金福;李悦丽;李泽森;;基于迁移学习的毫米波雷达手势识别研究[A];2021年全国微波毫米波会议论文集(上册)[C];2021年
5 叶炀涛;李予琛;顾昌展;毛军发;;基于小型化120GHz毫米波干涉雷达系统的手势识别[A];2021年全国微波毫米波会议论文集(下册)[C];2021年
6 张良梅;吕倩;;基于深度学习的表面肌电信号手势识别[A];2019年上海-西安声学学会第六届声学学术交流会议论文集[C];2019年
7 徐成成;白云超;周献中;;基于近似字符串分类的动态手势识别方法研究[A];2019中国系统仿真与虚拟现实技术高层论坛论文集[C];2019年
8 王涛;魏佳鑫;郭一娜;;基于想象运动脑——机接口的RLSTM-Dense手势识别模型研究[A];2019中国信息通信大会论文集(CICC 2019)[C];2019年
9 张宏源;袁家政;;基于视觉的手势识别新方法综述[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年
10 邓智方;袁家政;;基于深度学习的视觉手势识别综述[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年
11 丁勇;苏坪;潘超群;沈石松;;毫米波非接触式手势识别雷达[A];2019年全国微波毫米波会议论文集(上册)[C];2019年
12 郑颖;姚登峰;鲍泓;乔良;;基于机器学习的手势识别研究进展[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年
13 易晓;秦圣峰;康金胜;;基于手势识别技术的快速三维建模(英文)[A];第十届中国科协年会论文集(三)[C];2008年
14 沈世宏;李蔚清;;基于Kinect的体感手势识别系统的研究[A];第八届和谐人机环境联合学术会议(HHME2012)论文集CHCI[C];2012年
15 管珊珊;张益农;;基于Kinect的手势识别研究进展[A];中国计算机用户协会网络应用分会2018年第二十二届网络新技术与应用年会论文集[C];2018年
16 郑颖;李培峰;罗恒杰;徐成;鲍泓;;交警手势识别的研究进展[A];中国计算机用户协会网络应用分会2018年第二十二届网络新技术与应用年会论文集[C];2018年
17 周航;阮秋琦;;基于ROI分割的视觉相干映射手势跟踪[A];第十一届全国信号处理学术年会(CCSP-2003)论文集[C];2003年
18 刘磊;李琳;谭剑波;;多用户协同手势下触摸点用户归属问题研究[A];全国第22届计算机技术与应用学术会议(CACIS·2011)暨全国第3届安全关键技术与应用(SCA·2011)学术会议论文摘要集[C];2011年
19 王鼎衡;赵广社;李国齐;邓磊;;基于张量链压缩的卷积神经网络及手势识别应用研究[A];2018中国自动化大会(CAC2018)论文集[C];2018年
20 李腾;郭文成;;基于手势识别的车载音乐控制仪的设计[A];“装备中国”2016年“滨海杯”高端装备工业设计大赛论文集[C];2016年
中国博士学位论文全文数据库 前20条
1 王强宇;基于深度神经网络的动态手势识别技术研究[D];中国矿业大学(北京);2019年
2 徐军;基于计算机视觉的手势识别及人机交互技术的应用研究[D];东南大学;2018年
3 佴威至;手势交互中的手势识别算法及交互参数研究[D];北京理工大学;2017年
4 Isack Emmanuel Bulugu;基于高阶局部自相关的特征提取方法及其在手势识别中的应用[D];中国科学技术大学;2018年
5 卫文韬;肌电手势识别中的多流融合和多视图深度学习方法研究[D];浙江大学;2018年
6 万军;动态手势识别中的时空特征表示和字典优化研究[D];北京交通大学;2014年
7 张振源;基于毫米波雷达的微动手势识别关键技术研究[D];重庆邮电大学;2019年
8 周航;基于计算机视觉的手势识别系统研究[D];北京交通大学;2008年
9 成可立;数据驱动的虚拟试衣系统若干关键技术研究[D];浙江大学;2016年
10 赵守伟;增强现实辅助维修关键技术研究[D];河北工业大学;2016年
11 杜宇;基于深度机器学习的体态与手势感知计算关键技术研究[D];浙江大学;2017年
12 郭星;大屏幕人机互动中若干关键技术研究[D];安徽大学;2013年
13 孙超;增强现实环境下基于手势的自然交互[D];浙江大学;2010年
14 覃文军;基于视觉信息的手势识别算法与模型研究[D];东北大学;2010年
15 齐苏敏;序列图像中手势跟踪与识别技术的研究[D];苏州大学;2008年
16 王任大;基于计算机视觉的手势交互技术及其在航海中的应用[D];大连海事大学;2014年
17 程光;人机交互系统中手势和姿势识别算法的研究[D];清华大学;2014年
18 顾立忠;基于表观的手势识别及人机交互研究[D];上海交通大学;2008年
19 鲁勇;基于射频信号的行为分析关键技术研究[D];国防科技大学;2019年
20 沙亮;基于无标记全手势视觉的人机交互技术[D];清华大学;2010年
中国硕士学位论文全文数据库 前20条
1 陈吉安;基于Leap Motion的动态手势识别[D];江苏科技大学;2020年
2 任磊;基于Leap Motion的动态手势识别研究[D];大连理工大学;2015年
3 徐庆;基于Leap Motion的手势识别研究与应用[D];北京邮电大学;2016年
4 王星;基于高分辨率雷达的动态手势识别方法研究[D];电子科技大学;2021年
5 姚圆圆;动态手势识别的关键技术研究及实现[D];重庆邮电大学;2016年
6 余传义;实时手势识别在人机交互中的应用[D];上海海事大学;2005年
7 周晔;面向体感手势识别的算法研究[D];上海师范大学;2014年
8 段豪杰;基于深度学习的动态手势识别研究[D];武汉科技大学;2021年
9 孔凡震;基于视觉的静态手势识别算法研究[D];兰州交通大学;2009年
10 邵天培;基于视觉的手势识别技术研究[D];西南科技大学;2021年
11 赵宇熹;基于FPGA的静态手势识别系统的设计与实现[D];东北大学;2013年
12 刘汶鑫;基于跨模态深度学习的可穿戴设备手势识别方法设计与实现[D];浙江大学;2020年
13 谭典雄;基于视觉的动态手势识别技术研究[D];哈尔滨工业大学;2014年
14 成信宇;基于手臂去除的静态数字手势识别[D];西南大学;2014年
15 高亚新;面向虚拟雕刻的手势识别研究[D];南京航空航天大学;2013年
16 吴静;面向电视功能遥控的视觉手势识别算法[D];西北大学;2011年
17 王茂吉;基于视觉的静态手势识别系统[D];哈尔滨工业大学;2006年
18 许冰媛;基于视觉的手势识别算法研究[D];华南理工大学;2020年
19 罗军;3D连续手势识别研究[D];电子科技大学;2014年
20 李欢;基于移动终端的手势识别研究与实现[D];电子科技大学;2015年
中国重要报纸全文数据库 前20条
1 记者 张潇;“创新,让学习不仅仅止于课本”[N];西安日报;2015年
2 记者 李丽云 通讯员 衣晓峰;可穿戴手势识别系统助截肢患者控制假肢[N];科技日报;2020年
3 本报记者 王伟;巨头看上的“手势识别”能照进现实吗?[N];中国电子报;2019年
4 记者 郝晓明;国内首套手势识别智能无人飞行系统亮相[N];科技日报;2017年
5 本报记者 喻思娈;操作手机,挥挥手就行[N];人民日报;2017年
6 本报记者 董添;谷歌申请手势识别专利引关注[N];中国证券报;2017年
7 本报记者 张晓丽;未来智能家电真能一“手”掌控[N];辽宁日报;2014年
8 本报记者 卜叶;智能手套让手“说话”[N];中国科学报;2020年
9 本报记者 冯海波 通讯员 华轩;华工学子点子多 巧设计获大奖[N];广东科技报;2011年
10 记者 韩惠;用VR改变生活[N];淮北日报;2019年
11 本报记者 张依依;VR手套离我们还有多远?[N];中国电子报;2020年
12 本报记者 商越;在校园暖棚里把创业项目养大[N];辽宁日报;2015年
13 本报记者 程彦博;开辟人机交互新纪元[N];中国计算机报;2014年
14 本报记者 齐旭;腕带与眼镜联动,AR交互的未来?[N];中国电子报;2021年
15 中青报·中青网见习记者 焦晶娴;“时光之镜”华北巡展在京启动[N];中国青年报;2021年
16 记者 王思琪;VR设备创业公司遭遇C端死[N];第一财经日报;2016年
17 本报记者 王荣;苹果悬浮操控获专利[N];中国证券报;2016年
18 记者 阮晓琴;汇春科技:研发“芯”路上的长跑者[N];上海证券报;2020年
19 记者 冯卫东;借助Wi-Fi信号可用手势操控家电[N];科技日报;2013年
20 常丽君;手势追踪界面降低成本成为可能[N];科技日报;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978