收藏本站
《华中科技大学》 2018年
收藏 | 手机打开
二维码
手机客户端打开本文

虚拟场景人机交互中手势识别技术研究

胡中旭  
【摘要】:数字孪生技术和虚拟/增强现实技术近几年得到了快速发展,促进了许多传统行业的革新,如制造业、建筑业、教育等领域。这两种技术都是在强调如何更好的将物理空间映射到虚拟空间,以及两者之间如何更好的交互融合。不难想象,未来许多场景下的物理空间必将伴随着超写实的虚拟空间。因此,物理空间与虚拟空间的交互,特别是虚拟空间下的人机交互问题将是重要的、亟待解决的基础性问题。从虚拟现实的定义来讲,最重要的特性的是沉浸性和交互性。如何增强用户的沉浸感,关键在于一致性原则,即虚拟空间的反馈/反应能够与用户物理空间的状态同步。现有的虚拟现实眼镜主要解决了视觉一致性问题,即通过椭偏仪等传感器对用户的视角实时获取,虚拟空间中的场景相应的实时变换,从而与用户视觉同步。对于交互来说,用户的姿态也应该在虚拟空间中与物理空间保持一致性,即物理空间中用户的手势姿态可以跟虚拟空间中的手势姿态保持同步,因此手势估计最为契合。本文的研究内容也主要围绕手势估计问题展开,其作为一个具有挑战性的问题,一直困扰着许多研究人员,主要存在的难点包括高维、自遮挡、环境不可控、快速变化、计算量大等。近几年随着深度传感器和深度学习的发展,提供了新的解决方案和思路。基于此背景,本文主要开展以下研究:(1)利用深度相机获取手势深度图像,并选取合适的关节点个数作为模型的输出,用于表示相应的手势姿态。根据获取到的图像特点,通过添加噪点、随机扰动等方法对数据进行增强,克服深度传感器精度不佳的问题,提高模型的鲁棒性。根据手势估计任务的高维特点,研究深度卷积神经网络,构建相应的网络模型,用于端到端的预测关节点坐标,并与传统回归模型进行了对比分析。(2)为提高网络模型的预测准确率,通过分析深度卷积神经网络的特点,从提高特征提取能力的角度出发,研究了多尺度特征融合的网络结构,并优化其输出函数,以提高网络模型的估计效果,通过与他人工作进行对比以验证所提出的方法的有效性。(3)为解决深度神经网络对数据的依赖问题,以及手势姿态数据获取成本高的问题,充分挖掘数据集的内在信息,研究无监督/弱监督学习方法,结合手势估计数据图像自身特点,以输入图像重建为弱监督目标,研究了基于对抗自编码的弱监督优化模型,提高预测的准确率,同时还对数据的内在维数进行了探讨。(4)为解决由于深度传感器自身原因和手势快速变化和自遮挡导致的原始图像数据存在缺失的问题,将模型输入由单帧变为连续帧,为应对连续帧的问题,研究卷积神经网络和递归神经网络相结合的办法,提出卷积递归神经网络模块,并与提出三维卷积神经网络进行对比分析,最终实现了较好的识别效果。(5)为使模型更加轻便,解决计算量大的问题,研究神经网络的结构简化和优化方法,提出了三维分离卷积操作,从而减少参数个数,提高运算速度,实现网络模型的压缩。最终结合相应的虚拟现实开发技术,搭建了相关的应用案例。
【学位授予单位】:华中科技大学
【学位级别】:博士
【学位授予年份】:2018
【分类号】:TP391.9;TP183

免费申请
【参考文献】
中国期刊全文数据库 前2条
1 周济;;智能制造——“中国制造2025”的主攻方向[J];中国机械工程;2015年17期
2 张中波;刘峰;黄传勇;;某型飞机起落架虚拟航线维护仿真研究[J];航空制造技术;2013年21期
【共引文献】
中国期刊全文数据库 前2条
1 王俊;;福建企业智能制造网络服务平台的探析[J];福建电脑;2015年12期
2 梁培龙;周美玉;;基于QFD的设计优先度研究[J];设计;2015年23期
【二级参考文献】
中国期刊全文数据库 前4条
1 张中波;;基于Petri网的虚拟维修动作流程层次化建模研究[J];制造业自动化;2012年05期
2 张中波;丰世林;;虚拟维修仿真技术在航空器维修中的应用[J];西安航空技术高等专科学校学报;2010年05期
3 王维;李焱;贺汉根;;基于国标人体测量学数据的虚拟人缩放方法[J];计算机仿真;2006年07期
4 何英健;郝建平;李星新;;虚拟维修样机中机构的运动行为仿真[J];计算机仿真;2006年02期
【相似文献】
中国期刊全文数据库 前10条
1 胡悦;;金融市场中的神经网络拐点预测法[J];金融经济;2017年18期
2 韩真;凯文·哈特尼特;;为神经网络的通用理论建造基石[J];世界科学;2019年04期
3 迟惠生;陈珂;;1995年世界神经网络大会述评[J];国际学术动态;1996年01期
4 吴立可;;脉冲神经网络和行为识别[J];通讯世界;2018年12期
5 林嘉应;郑柏伦;刘捷;;基于卷积神经网络的船舶分类模型[J];信息技术与信息化;2019年02期
6 俞颂华;;卷积神经网络的发展与应用综述[J];信息通信;2019年02期
7 王丽华;杨秀萍;王皓;高峥翔;;智能双轮平衡车的设计研究[J];数字技术与应用;2018年04期
8 张庭略;;基于硬件的神经网络加速[J];通讯世界;2018年08期
9 苏秀婷;;耦合神经网络的同步[J];绍兴文理学院学报(自然科学);2016年03期
10 朱溦;;神经网络结合平均影响值方法筛选变量[J];产业与科技论坛;2017年01期
中国重要会议论文全文数据库 前10条
1 孙军田;张喆;;基于神经网络数据挖掘技术确定灾害等级的灭火救援出动力量模型研究[A];2016中国消防协会科学技术年会论文集[C];2016年
2 许进;保铮;;神经网络与图论[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
3 唐墨;王科俊;;自发展神经网络的混沌特性研究[A];2009年中国智能自动化会议论文集(第七分册)[南京理工大学学报(增刊)][C];2009年
4 张广远;万强;曹海源;田方涛;;基于遗传算法优化神经网络的故障诊断方法研究[A];第十二届全国设备故障诊断学术会议论文集[C];2010年
5 李涛;费树岷;;具有变时滞Cohen-Grossberg神经网络的指数稳定性准则[A];第二十六届中国控制会议论文集[C];2007年
6 汪灵枝;秦发金;;具有变时滞和脉冲的离散Cohen-Grossberg神经网络的周期解[A];中国自动化学会控制理论专业委员会D卷[C];2011年
7 韩正之;林家骏;;用神经网络求解非线性相容方程[A];1993年控制理论及其应用年会论文集[C];1993年
8 林家骏;王赞基;;求解不可微优化问题的连续极大熵神经网络[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
9 姜德宏;徐德民;任章;;基于神经网络的自校正控制器[A];1993中国控制与决策学术年会论文集[C];1993年
10 窦永丰;贝超;;模糊与神经网络结合方式及在控制中的应用[A];1997年中国控制会议论文集[C];1997年
中国重要报纸全文数据库 前10条
1 记者 刘霞;忆阻器制成神经网络更高效[N];科技日报;2017年
2 整理 本报记者 诸玲珍 顾鸿儒;微软神经网络切割法可使加速作用超线性[N];中国电子报;2018年
3 ;神经网络小史[N];电子报;2018年
4 张敏;人机大战,到底谁会赢?[N];北京日报;2017年
5 ;人工智能将取得大面积突破[N];中国企业报;2017年
6 本报记者 龚丹韵;人机大战:人类还有优势吗[N];解放日报;2017年
7 ;人类正迎来云端机器人时代[N];中国企业报;2017年
8 张斌;谁还需要“同传”[N];文汇报;2017年
9 科大讯飞董事长 刘庆峰;高考机器人考入一流大学不再是梦[N];中国教育报;2017年
10 邓洲 中国社会科学院工业经济研究所;深度学习:人工智能进入应用阶段[N];上海证券报;2017年
中国博士学位论文全文数据库 前10条
1 周颖华;具时变脉冲的神经网络的稳定性研究[D];西南大学;2018年
2 张婷;深度神经网络的核映射结构和跨连结构研究[D];北京工业大学;2018年
3 胡中旭;虚拟场景人机交互中手势识别技术研究[D];华中科技大学;2018年
4 蒙西;模块化神经网络优化设计及应用研究[D];北京工业大学;2018年
5 吴霆;基于光谱技术的三文鱼品质检测方法研究[D];华南农业大学;2018年
6 杨莉萍;量子计算及其在生物化学问题中的应用研究[D];华中科技大学;2018年
7 刘梅;网络系统的稳定和同步行为研究[D];新疆大学;2017年
8 靳然;基于神经网络和支持向量机的麦蚜发生动态预测研究[D];山西农业大学;2017年
9 李骁;基于深度卷积神经网络MSCT对小肾肿瘤病理分型的预测研究[D];中国人民解放军海军军医大学;2018年
10 李若霞;基于忆阻的神经网络的动力学分析及应用[D];东南大学;2017年
中国硕士学位论文全文数据库 前10条
1 王雨桐;基于卷积神经网络的电主轴轴承故障诊断方法研究[D];沈阳建筑大学;2018年
2 赵健;桥式起重机神经网络快速设计法研究[D];太原科技大学;2018年
3 张石磊;基于改进BP神经网络的齿轮故障诊断研究[D];辽宁工程技术大学;2017年
4 刘建良;改进的小波-BP神经网络在隧道变形监测中的应用[D];辽宁工程技术大学;2017年
5 方毅;基于卷积神经网络的糖尿病视网膜病变检测方法的研究[D];福州大学;2017年
6 刘兴旺;一种多层预训练卷积神经网络在图像识别中的应用[D];中南民族大学;2018年
7 鲁新新;卷积神经网络在情感分类中的应用和研究[D];辽宁工程技术大学;2017年
8 杨超;面向人群监管的人脸检测及海量对象检索[D];福州大学;2017年
9 邓烜堃;基于神经网络股票预测模型的研究与实现[D];贵州大学;2018年
10 潘婷;基于深度学习的车辆行人检测与道路场景深度估计研究[D];浙江科技学院;2019年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026