收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于信息融合滤波的动态手势跟踪算法研究

司阳  
【摘要】:手势交互作为一种自然交互方式,是人机交互领域的重要基础性研究。随着新型体感交互设备的普及与最优估计理论的深入,如何基于视觉快速准确的捕获跟踪三维手势运动数据并实时理解动态手语的语义,已成为自然人机交互领域的关键问题。此外,听障人群位居五大残疾之首,手语作为聋哑人与外界交流的最主要方式,开发新型、自然、友好和便携的手势交互系统在聋人教学及交流方面起着至关重要的作用。因此,本文重点研究新型人机交互和动态手语识别中的两项关键技术即动态手势的检测与跟踪。动态手势运动涉及的人体部位为典型的非刚体目标,由于模型难以建立,动态手势运动轨迹的准确估算与跟踪较为困难。在动态手势跟踪过程中,手部存在任意变形,且目标手势并非一成不变的在做某一方向的匀速运动,而是存在各个方向速度未知的随机运动,即动态手势跟踪具有一个显著特点:机动性。此外,动态手势在连续运动过程中,由于目标可能出现的个数不确定及环境背景等因素的干扰,系统存在一定的随机性和不确定性。故动态手势跟踪过程中可能会出现四类问题:任意变形手势跟踪的鲁棒性问题、类肤色干扰问题、目标跟踪错误时的错误恢复问题以及多目标相互遮挡时的遮挡恢复问题。针对动态手势跟踪过程中可能存在的四类问题,本文提出一种基于信息融合滤波的动态手势跟踪算法。首先,采用Kinect2.0获取动态手势运动的RGB彩色视频流和深度视频流,构建动态手势数据库,并分别对其进行信息预处理;其次,提出一种基于区域-卷积神经网络R-CNN结合迁移学习算法的自动手势检测器训练方法,实现对复杂背景下目标手势的自动准确检测;随后,在传统仅含非机动模型的手势状态空间的基础上增添两个机动模型,以此更加准确的描述手势的状态空间,且通过融合动态手势运动过程中的肤色信息和深度阈值信息,提高动态手势跟踪算法的鲁棒性,并在此基础上提出了一种信息融合Kalman滤波跟踪算法;最终,完成动态手势跟踪算法的系统搭建及性能测试。为验证动态手势检测与跟踪算法的实时性和鲁棒性,对动态手势跟踪过程中的四类问题进行仿真。实验对比结果表明,本文算法可以有效解决动态手势跟踪过程中可能出现的四类问题,并且能够取得较高的检测和跟踪精度。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 何佳洲;马继伟;王昱槐;安瑾;;第19届国际信息融合会议及获奖论文评述[J];指挥控制与仿真;2016年06期
2 ;第20届届国际信息融合大会[J];控制理论与应用;2016年11期
3 单新治;王冠学;苗玉;曾祥堉;包颖;隋国荣;;基于多信息融合的无创血糖检测系统设计[J];光学仪器;2017年03期
4 宫玉琳;朱德鹏;陈宏博;景治新;文垠锞;;多信息融合感知搜救机器人的设计与实现[J];长春理工大学学报(自然科学版);2017年03期
5 何兴华;叶伟玲;仇智诚;冯国骥;朱文超;;基于RFID的工器具信息融合装置的研制[J];中国高新科技;2017年08期
6 ;第20届国际信息融合大会[J];控制理论与应用;2016年08期
7 郑浣非;;会计信息的局限性及会计信息融合的思考[J];经贸实践;2015年07期
8 ;第六届中国信息融合大会第二轮征文通知[J];指挥信息系统与技术;2014年04期
9 ;海军航空工程学院信息融合研究所[J];数据采集与处理;2014年04期
10 ;第四届中国信息融合大会征文通知[J];控制理论与应用;2012年01期
11 ;第四届中国信息融合大会征文通知[J];计算机与数字工程;2012年01期
12 ;第四届中国信息融合大会征文通知[J];舰船电子工程;2012年02期
13 ;第四届中国信息融合大会征文通知[J];舰船电子工程;2012年03期
14 ;第四届中国信息融合大会征文通知[J];计算机与数字工程;2012年03期
15 ;第四届中国信息融合大会征文通知[J];舰船电子工程;2012年04期
16 ;第四届中国信息融合大会征文通知[J];计算机与数字工程;2012年04期
17 ;第四届中国信息融合大会征文通知[J];舰船电子工程;2012年05期
18 ;第四届中国信息融合大会征文通知[J];计算机与数字工程;2012年05期
19 ;第四届中国信息融合大会征文通知[J];计算机与数字工程;2012年06期
20 ;第四届中国信息融合大会征文通知[J];舰船电子工程;2012年08期
中国重要会议论文全文数据库 前10条
1 熊智;;用于无人系统的全源多信息融合导航关键技术[A];2015年中国自动化大会摘要集[C];2015年
2 顾星;;中医诊断与体表生物特征多信息融合的思考[A];中国中西医结合学会诊断专业委员会2009’年会论文集[C];2009年
3 杜奕;迟毅林;伍星;;信息融合在设备监测和故障诊断中的应用[A];第二十七届中国控制会议论文集[C];2008年
4 章立军;;设备在线监测的多源信息融合及寿命预测技术[A];首届冶金行业设备状态监测与诊断技术案例高级培训教材[C];2015年
5 王晖;李世帅;王伟宇;;基于大数据的装备保障指挥信息融合初探[A];第六届中国指挥控制大会论文集(下册)[C];2018年
6 王莉;于盛林;严仰光;;多传感器信息融合结构及其实现[A];中国仪器仪表学会第三届青年学术会议论文集(下)[C];2001年
7 黄英武;郭健;孙之荣;;基于贝叶斯网络和多信息融合的肿瘤基因调控网络分析[A];第九次全国生物物理大会学术会议论文摘要集[C];2002年
8 张俊宁;李民赞;张小超;;基于冬小麦信息融合的非线性产量建模分析[A];纪念中国农业工程学会成立30周年暨中国农业工程学会2009年学术年会(CSAE 2009)论文集[C];2009年
9 孙来军;沈永良;;多SVM多级信息融合与诊断决策模型的研究[A];2007'中国仪器仪表与测控技术交流大会论文集(二)[C];2007年
10 彭健;席裕庚;何发昌;许玲;;机器人多传感器集成与信息融合的技术及应用[A];1997中国控制与决策学术年会论文集[C];1997年
中国博士学位论文全文数据库 前10条
1 蔡雪松;面向城市交通领域的信息融合关键技术研究[D];华东师范大学;2019年
2 袁德平;战场环境下信息融合关键技术研究[D];西北工业大学;2017年
3 王海舰;煤岩界面多信息融合识别理论与实验研究[D];辽宁工程技术大学;2017年
4 窦春霞;基于信息融合的电力系统故障检测及稳定控制研究[D];燕山大学;2005年
5 朱林;信息融合系统工程设计准则的研究[D];哈尔滨工程大学;2005年
6 管天云;多传感器信息融合研究[D];浙江大学;1998年
7 张高煜;目标跟踪与多传感器信息融合若干问题研究[D];西安电子科技大学;2006年
8 赵征;基于信息融合的锅炉燃烧状态参数检测技术研究[D];华北电力大学(河北);2007年
9 宋恩彬;信息融合与处理中几个问题的进展[D];四川大学;2007年
10 胡洲;信息融合欠驱动控制技术研究[D];南京航空航天大学;2014年
中国硕士学位论文全文数据库 前10条
1 曹阳;机载多信息融合MEMS航姿系统关键技术研究[D];南京航空航天大学;2018年
2 伍兰英;基于信息融合的健康体检知识图谱的构建方法研究[D];广东工业大学;2019年
3 刘亚飞;基于深度学习的多信息融合行人检测算法研究[D];国防科技大学;2017年
4 孙志;综合指挥显示系统关键技术研究与实现[D];西安电子科技大学;2019年
5 杜优;基于信息融合的医疗影像辅助决策研究与应用[D];东华大学;2019年
6 司阳;基于信息融合滤波的动态手势跟踪算法研究[D];西安工业大学;2019年
7 刘子旺;转子故障的多模态深度学习信息融合诊断方法研究[D];中国石油大学(北京);2018年
8 闻萍;基于高光谱与数字图像信息融合的注水羊肉检测研究[D];内蒙古农业大学;2019年
9 陈慧荣;基于颜色气味数字化及信息融合的苦杏仁走油监测系统的研究[D];北京中医药大学;2019年
10 方龙;雷达与视频的信息提取与融合研究[D];厦门大学;2018年
中国重要报纸全文数据库 前10条
1 张冶;物联信息融合构建航天大安全体系[N];中国航天报;2019年
2 记者 贺辉;合力打造全国科技信息融合发展平台[N];农业科技报;2018年
3 记者 张斌峰 通讯员 胡景怡;全省城市信息融合推进会在咸阳召开[N];陕西日报;2016年
4 武小渝;信息融合让采掘衔接更科学[N];中国煤炭报;2015年
5 周新红 田朝晖 段勇;信息融合:现代战争的重要支撑[N];解放军报;2005年
6 陈冠如;信息融合共享是关键[N];中国医药报;2015年
7 张国栋 特约记者 仇成梁;信息融合平台联通立体战场[N];解放军报;2014年
8 唐世斌;满园春色关不住[N];陕西日报;2016年
9 杨波;信息融合推进导航应用[N];中国计算机报;2007年
10 郭渭峰 田松艳 本报特约记者 魏春;依网聚力:信息融合织“天网”[N];解放军报;2012年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978