收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于深度学习的手势识别系统研究与实现

胡鹏程  
【摘要】:手势识别是一种利用各种传感设备采集手势并进行识别的技术,可以帮助交流双方在对手势定义没有共同认知的情况下进行交流,如对手语的识别可以帮助聋哑人融入正常的社会社会。手势识别可分为静态手势和动态手势,本文提出了一种利用深度学习技术来识别手势的系统,分别对静态与动态手势的识别进行了研究。本文首先介绍了手势识别的研究现状与意义,并对手势识别的数据采集方案和识别技术进行了对比。在第二章主要研究如何利用Leap Motion采集手势数据并进行特征提取。本课题首先研究了 Leap Motion骨骼框架模型和所能跟踪的肢体部位。之后研究了静态与动态手势采集、图像捕捉以及帧数据的序列化和反序列化。最后分析了如何对Leap Motion采集的数据进行特征提取,包括如何对动态手势进行帧采样,并通过数据增强来减少动态数据过少的问题。第三章利用TensorFlow分别为静态手势和动态手势搭建了识别模型。对于动态手势识别,本课题研究传统RNN网络中的信息扭曲和梯度消失问题,并采用LSTM来构建循环神经网络用于识别时序数据。为了解决不同种类手势以及同种手势的不同样本之间时序长度不一致问题,本文采用动态展开方法,可以将每个样本按照其实际时序长度展开,从而防止某个样本时序过长导致LSTM不能有效学习长依赖。第四章研究手势识别可视化与数据可视化系统。本研究采用的PyQt作为可视化框架,手势识别可视化部分与Leap Motion、TensorFlow集成,该系统实时采集静态或动态手势并用训练好的模型识别,识别结果能够以文字和语音进行展示,同时LeapMotion捕捉的图像被实时渲染到可视化界面上。数据采集系统集成了计算机系统内置的文件管理系统与Leap Motion,可以自动控制数据手势采集流程的开始和结束,并能够通过可视化的方式来管理手势数据。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 丁伟利;胡艳玲;申亚辉;刘洪海;;基于虚拟试验箱的康复手势识别算法研究[J];高技术通讯;2017年03期
2 杨欣怡;李双;;基于手势识别的智能电视交互专利技术综述[J];科技创新与应用;2018年24期
3 于珈盛;;手势识别技术在软件中的应用[J];电子技术与软件工程;2018年01期
4 钟习;陈益强;于汉超;杨晓东;胡子昂;;融合情境感知信息的超声波手势识别方法[J];计算机辅助设计与图形学学报;2018年01期
5 王健;朱恩成;黄四牛;任华;;基于深度学习的动态手势识别方法[J];计算机仿真;2018年02期
6 陈红梅;赖重远;张洋;胡华桦;赵维胜;;基于深度数据的手势识别研究进展[J];江汉大学学报(自然科学版);2018年02期
7 于汉超;杨晓东;张迎伟;钟习;陈益强;;凌空手势识别综述[J];科技导报;2017年16期
8 耿海霄;;基于条件随机场的连续手势识别算法[J];现代计算机(专业版);2016年05期
9 江铁成;;基于视觉手势识别技术的实践研究[J];合肥师范学院学报;2016年03期
10 高畅;蒋浩;毛天露;王兆其;;基于双重优化的连续手势识别方法[J];图学学报;2015年01期
11 郭雷;;动态手势识别技术综述[J];软件导刊;2015年07期
12 钱玉娟;;手势识别成人机交互新趋势[J];中国经济信息;2018年10期
13 ;国内首套手势识别智能无人飞行系统亮相[J];科学家;2017年10期
14 卫文龙;史春耀;王健羽;;深度图像和表观特征基础下的手势识别[J];赤子(下旬);2016年12期
15 ;掌上无人机哪家强?[J];少年电脑世界;2017年Z2期
16 刘宇;;基于计算机视觉的手势检测识别技术[J];科学中国人;2017年23期
17 ;新型手势识别技术可隔着口袋操作手机[J];电脑编程技巧与维护;2014年07期
18 李文生;解梅;邓春健;;基于机器视觉的动态多点手势识别方法[J];计算机工程与设计;2012年05期
19 葛继东;贾绍文;蔡慧敏;;手势识别综述[J];科技视界;2012年19期
20 淦创;;基于3D体感技术的动态手势识别[J];光电技术应用;2012年04期
中国重要会议论文全文数据库 前10条
1 祝远新;徐光佑;黄浴;林学;俞志和;;一个基于表观的孤立手势识别系统[A];中国图象图形科学技术新进展——第九届全国图象图形科技大会论文集[C];1998年
2 易晓;秦圣峰;康金胜;;基于手势识别技术的快速三维建模(英文)[A];第十届中国科协年会论文集(三)[C];2008年
3 沈世宏;李蔚清;;基于Kinect的体感手势识别系统的研究[A];第八届和谐人机环境联合学术会议(HHME2012)论文集CHCI[C];2012年
4 李腾;郭文成;;基于手势识别的车载音乐控制仪的设计[A];“装备中国”2016年“滨海杯”高端装备工业设计大赛论文集[C];2016年
5 周航;阮秋琦;;基于ROI分割的视觉相干映射手势跟踪[A];第十一届全国信号处理学术年会(CCSP-2003)论文集[C];2003年
6 柳阳;刘峡壁;贾云得;;基于手势的文本输入方法及其在穿戴计算机中的应用[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
7 胡俊;杨俊友;王硕玉;;基于表面肌电信号的最优化手势特征识别分类方法[A];第十二届沈阳科学学术年会论文集(理工农医)[C];2015年
8 安晓春;杨鸿武;甘振业;;手语到普通话/藏语语音转换系统的实现[A];第十三届全国人机语音通讯学术会议(NCMMSC2015)论文集[C];2015年
9 刘磊;李琳;谭剑波;;多用户协同手势下触摸点用户归属问题研究[A];全国第22届计算机技术与应用学术会议(CACIS·2011)暨全国第3届安全关键技术与应用(SCA·2011)学术会议论文摘要集[C];2011年
10 赵小川;赵继鹏;范炳远;郝丽丽;;手势识别技术研究综述与应用展望[A];第十一届全国信号和智能信息处理与应用学术会议专刊[C];2017年
中国博士学位论文全文数据库 前10条
1 Isack Emmanuel Bulugu;基于高阶局部自相关的特征提取方法及其在手势识别中的应用[D];中国科学技术大学;2018年
2 周航;基于计算机视觉的手势识别系统研究[D];北京交通大学;2008年
3 顾立忠;基于表观的手势识别及人机交互研究[D];上海交通大学;2008年
4 万军;动态手势识别中的时空特征表示和字典优化研究[D];北京交通大学;2014年
5 成可立;数据驱动的虚拟试衣系统若干关键技术研究[D];浙江大学;2016年
6 赵守伟;增强现实辅助维修关键技术研究[D];河北工业大学;2016年
7 覃文军;基于视觉信息的手势识别算法与模型研究[D];东北大学;2010年
8 杜宇;基于深度机器学习的体态与手势感知计算关键技术研究[D];浙江大学;2017年
9 孙超;增强现实环境下基于手势的自然交互[D];浙江大学;2010年
10 郭星;大屏幕人机互动中若干关键技术研究[D];安徽大学;2013年
中国硕士学位论文全文数据库 前10条
1 张加洪;基于机械点阵的实体交互界面的设计与实现[D];电子科技大学;2018年
2 徐怡森;基于OpenCV的静态手势识别系统[D];湖南科技大学;2017年
3 卢帅;基于手机传感器的行为和手势识别的研究与实现[D];电子科技大学;2018年
4 肖翔;基于柔性电极的表面肌电信号采集与处理研究[D];电子科技大学;2018年
5 朱大勇;基于Kinect的人机互动关键技术研究及其大屏幕应用[D];安徽大学;2018年
6 张琪祥;基于leapmotion的手势识别研究及应用[D];北京邮电大学;2018年
7 赵焰喆;基于惯性传感器的手势识别系统的研究[D];北京邮电大学;2018年
8 谢小雨;基于表面肌电信号和惯性测量单元的手势动作识别的研究[D];太原理工大学;2018年
9 杜新怡;基于Kinect的手势识别与三指灵巧手交互研究[D];兰州理工大学;2018年
10 胡鹏程;基于深度学习的手势识别系统研究与实现[D];北京邮电大学;2018年
中国重要报纸全文数据库 前10条
1 实习生 张燕;挥手玩“苹果”的高三男孩[N];中国青年报;2011年
2 记者 郝晓明;国内首套手势识别智能无人飞行系统亮相[N];科技日报;2017年
3 本报记者 喻思娈;操作手机,挥挥手就行[N];人民日报;2017年
4 本报记者 董添;谷歌申请手势识别专利引关注[N];中国证券报;2017年
5 倪明 段郴群;谷歌等巨头布局手势识别市场[N];企业家日报;2017年
6 肖思思;TCL新型数字家电可进行手势识别[N];中国税务报;2007年
7 华凌;首个无电池手势识别系统有望替代触摸屏[N];科技日报;2014年
8 本报记者 张晓丽;未来智能家电真能一“手”掌控[N];辽宁日报;2014年
9 记者 张潇;“创新,让学习不仅仅止于课本”[N];西安日报;2015年
10 张华;该怎样融入“创客”时代?[N];陕西日报;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978