收藏本站
《浙江大学》 2017年
加入收藏

基于深度机器学习的体态与手势感知计算关键技术研究

杜宇  
【摘要】:随着计算资源和用户需求的快速增长,直观、自然并且能够适应各种交互环境的感知计算成为研究热点。本文面向体态和手势这两种常见的感知通道,系统地研究其中的问题挑战及其解决方法。随着人们对于姿态恢复和手势识别的精确性和易用性越来越高的要求,缺乏先验知识表示、准确率与时延折中、标定过程繁琐以及有标数据不足等关键问题与挑战交错叠加。首先,一些人类熟知的有助于解决感知问题的先验知识难以直接嵌入在基于深度机器学习的端到端的感知计算方法中;其次,现有的基于肌电信号的手势识别方法难以同时做到高准确率和低时延;再次,现有的基于肌电信号的手势识别方法通常需要用户在每次佩戴设备后先进行严格的标定;最后,现有的基于肌电信号的手势识别方法依赖于大量的具有手势标签的训练数据,然而这些有标记的训练数据通常难以获得。本文重点面向上述问题和挑战,在深度机器学习框架下设计针对性的解决方法,主要创新点包括:(1)针对基于无标记单目相机的体态感知中缺乏先验知识表示的问题,提出了一种新的先验知识的表示方式——高度图——用于从单目相机拍摄的视频中精确地恢复三维人体姿态。在此基础上,提出使用双流深度卷积网络融合彩色图像和高度图两种输入信息来估计二维人体姿态,充分利用了人体各部位的高度这一先验信息来提高二维姿态估计准确率;提出一种新的带有时序一致性约束的目标函数,用于从估计出的人体关节点的二维人体姿态序列中恢复出对应的三维人体姿态序列,利用人体姿态和相机参数在时间上的连续性来提高三维姿态估计的准确率。(2)针对基于肌电信号的手势感知中准确率与时延折中的问题,发现了瞬时的高密度肌电信号中存在特定的模式,这一发现使得基于瞬时肌电信号的手势识别成为可能。基于这一发现,提出肌电图像的概念,以及基于瞬时肌电图像和深度卷积网络的手势识别框架。该方法可以在提高基于肌电信号的手势识别准确率的同时降低时延。(3)针对基于肌电信号的手势感知中标定过程繁琐和有标数据不足的问题,提出了基于深度机器学习的无监督领域自适应框架,从而提升基于肌电信号的会话间手势识别的准确率,同时降低模型适配过程中所需要的用户交互的复杂度。该适配方法无监督和增量地更新模型中的统计量参数,适配贯穿整个交互过程,而不是仅在特定的阶段执行。(4)针对基于肌电信号的手势感知中缺乏先验知识表示和有标数据不足的问题,提出了基于半监督深度机器学习的肌电手势识别方法,在训练阶段利用数据手套采集的手部三维姿态数据和肌电信号内在的动态特性,从无标记的肌电信号中学习有用的特征表示;然后利用该特征表示在识别阶段从肌电信号中识别手势。该方法在有标训练样本不足时可以显著提高手势识别的准确率。
【关键词】:感知计算 深度机器学习 人体姿态估计 表面肌电图 领域自适应 半监督学习
【学位授予单位】:浙江大学
【学位级别】:博士
【学位授予年份】:2017
【分类号】:TP391.41;TP181
【目录】:
  • 摘要5-7
  • Abstract7-15
  • 第1章 绪论15-32
  • 1.1 研究背景与意义15-19
  • 1.1.1 理论研究价值17-18
  • 1.1.2 应用研究价值18-19
  • 1.2 研究现状19-28
  • 1.2.1 体态感知20-23
  • 1.2.2 手势感知23-26
  • 1.2.3 深度机器学习26-28
  • 1.3 问题的提出28-29
  • 1.4 本文工作29-32
  • 第2章 从单目无标记视频中恢复三维人体姿态32-50
  • 2.1 概述32-34
  • 2.2 问题描述34-35
  • 2.3 基于双流深度卷积网络的解决方案35-36
  • 2.4 二维人体姿态估计36-38
  • 2.4.1 验证实验37-38
  • 2.5 三维人体姿态恢复38-41
  • 2.5.1 姿态条件关节速度39-40
  • 2.5.2 优化算法40-41
  • 2.6 性能评测与实验分析41-48
  • 2.6.1 实验配置41-43
  • 2.6.2 二维人体姿态估计评测43-45
  • 2.6.3 二维人体姿态已知的三维人体姿态恢复评测45
  • 2.6.4 二维人体姿态未知的三维人体姿态恢复评测45-48
  • 2.7 小结48-50
  • 第3章 从高密度瞬态肌电信号中识别手势50-66
  • 3.1 概述50-53
  • 3.2 问题描述53
  • 3.3 基于深度卷积网络的解决方案53-54
  • 3.4 基于深度卷积网络的手势识别54-58
  • 3.4.1 分类器训练方法57
  • 3.4.2 基于幅值的投票方法57-58
  • 3.5 性能评测与实验分析58-64
  • 3.5.1 CapgMyo数据集上的深度机器学习方法评测58-61
  • 3.5.2 CapgMyo数据集上的传统分类器评测61
  • 3.5.3 CSL-HDEMG数据集上的评测61-63
  • 3.5.4 NinaPro数据集上的评测63-64
  • 3.6 小结64-66
  • 第4章 基于深度领域自适应识别手势66-80
  • 4.1 概述66-68
  • 4.2 问题描述68-69
  • 4.3 基于深度领域自适应的解决方案69
  • 4.4 基于多流AdaBN的领域自适应方法69-71
  • 4.5 性能评测与实验分析71-78
  • 4.5.1 实验配置73-74
  • 4.5.2 CSL-HDEMG数据集上的评测74-76
  • 4.5.3 CapgMyo数据集上的评测76-78
  • 4.5.4 NinaPro数据集上的评测78
  • 4.6 小结78-80
  • 第5章 基于半监督深度机器学习识别手势80-94
  • 5.1 概述80-82
  • 5.2 问题描述82-83
  • 5.3 基于半监督深度机器学习的解决方案83-84
  • 5.4 基于半监督深度卷积网络的手势识别84-85
  • 5.5 面向半监督训练的肌电信号时序关系预测85-86
  • 5.6 面向半监督训练的手部姿态统计量预测86-87
  • 5.7 性能评测与实验分析87-93
  • 5.7.1 实验配置87-88
  • 5.7.2 NianPro数据集上的评测88-90
  • 5.7.3 CapgMyo数据集上的评测90
  • 5.7.4 CSL-HDEMG数据集上的评测90-93
  • 5.8 小结93-94
  • 第6章 总结与展望94-96
  • 参考文献96-115
  • 附录A CapgMyo数据集115-125
  • 附录B 基于瞬时肌电图像的手势识别超参数调优125-127
  • 附录C 攻读博士学位期间主要的研究成果127-128
  • 附录D 致谢128

【相似文献】
中国期刊全文数据库 前10条
1 张明玉,倪志伟;基于机器学习的智能决策支持系统[J];淮南师范学院学报;2005年03期
2 杨凌霄;武建平;;机器学习方法在人脸检测中的应用[J];计算机与数字工程;2008年03期
3 ;第十一届中国机器学习会议[J];智能系统学报;2008年02期
4 ;第14届中国机器学习会议[J];智能系统学报;2012年06期
5 费宗铭;吕建;王志坚;陈道蓄;徐家福;;机器学习[J];计算机科学;1991年01期
6 赵沁平;魏华;王军玲;;机器学习技术与机器学习系统[J];计算机科学;1993年05期
7 姚敏;机器学习及其发展方向[J];计算机时代;1994年04期
8 ;第31届机器学习国际会议(英文)[J];智能系统学报;2014年01期
9 黄海滨;机器学习及其主要策略[J];河池师范高等专科学校学报(自然科学版);2000年04期
10 佘玉梅;一种协调机器学习方法研究[J];云南民族学院学报(自然科学版);2000年03期
中国重要会议论文全文数据库 前10条
1 王珏;;归纳机器学习[A];2001年中国智能自动化会议论文集(上册)[C];2001年
2 王昊;李银波;纪志梁;;利用机器学习方法预测严重药物不良反应-呼吸困难[A];中国化学会第28届学术年会第13分会场摘要集[C];2012年
3 吴沧浦;;智能系统与机器学习的新领域[A];西部大开发 科教先行与可持续发展——中国科协2000年学术年会文集[C];2000年
4 周晴杰;徐立鸿;吴启迪;;机器学习串级结构的初步探讨[A];1998年中国控制会议论文集[C];1998年
5 李刚;郭崇慧;林鸿飞;杨志豪;唐焕文;;基于词典法和机器学习法相结合的蛋白质名识别[A];大连理工大学生物医学工程学术论文集(第2卷)[C];2005年
6 徐礼胜;李乃民;王宽全;张冬雨;耿斌;姜晓睿;陈超海;罗贵存;;机器学习在中医计算机诊断识别系统中的应用思考[A];第一届全国中西医结合诊断学术会议论文选集[C];2006年
7 蔡健平;林世平;;基于机器学习的词语和句子极性分析[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
8 黄金铁;李景银;周建常;;对高炉炉况评价模型参数的机器学习——一个三类线性模式分类器的实现[A];1995中国控制与决策学术年会论文集[C];1995年
9 程国建;蔡磊;潘华贤;;核向量机在大规模机器学习中的应用[A];第十一届中国青年信息与管理学者大会论文集[C];2009年
10 张钹;张铃;;统计学习理论及其应用[A];2001年中国智能自动化会议论文集(上册)[C];2001年
中国重要报纸全文数据库 前10条
1 黎骊/文 [美] Tom M.Mitchell 著;机器学习与智能化社会[N];中国邮政报;2003年
2 IBM大数据专家 James Kobielus 范范 编译;机器学习已成为大数据基石[N];网络世界;2014年
3 本报记者 房琳琳;合久必分:分布式“机器学习”应运而生[N];科技日报;2014年
4 雨辰;机器学习类图书为什么火爆[N];中华读书报;2014年
5 百度公司技术副总监 多媒体部负责人 余凯;深度学习与多媒体搜索技术演进[N];中国信息化周报;2013年
6 本报记者 余建斌;机器学习与互联网搜索[N];人民日报;2011年
7 本报记者 张晔通讯员 李玮;周志华:永不墨守成规[N];科技日报;2008年
8 记者  彭德倩;机器学习精度提升近6个百分点[N];解放日报;2006年
9 本报记者 闵杰;大数据热 高端人才缺[N];中国电子报;2013年
10 沈建苗 编译;如何成为大数据科学家[N];计算机世界;2013年
中国博士学位论文全文数据库 前10条
1 董春茹;机器学习中的权重学习与差分演化[D];华南理工大学;2015年
2 姚明臣;机器学习和神经网络学习中的若干问题研究[D];大连理工大学;2016年
3 Maxim Pecionchin;[D];对外经济贸易大学;2016年
4 杜宇;基于深度机器学习的体态与手势感知计算关键技术研究[D];浙江大学;2017年
5 赵玉鹏;机器学习的哲学探索[D];大连理工大学;2010年
6 胡巍;面向格结构的机器学习[D];上海交通大学;2009年
7 张义荣;基于机器学习的入侵检测技术研究[D];国防科学技术大学;2005年
8 钱线;快速精确的结构化机器学习方法研究[D];复旦大学;2010年
9 梁锡军;稀疏优化在机器学习中的若干应用[D];大连理工大学;2013年
10 蒋刚;核机器学习方法若干问题研究[D];西南交通大学;2006年
中国硕士学位论文全文数据库 前10条
1 毛海斌;基于半监督机器学习的情感分类领域适应问题研究[D];南京理工大学;2015年
2 安军辉;基于微博数据的微博用户性别判断研究[D];华中师范大学;2015年
3 陈召阳;基于机器学习的改性麦槽吸附重金属构效关系模型研究[D];江西理工大学;2014年
4 王成;基于半监督机器学习的文本情感分析技术[D];南京理工大学;2015年
5 孙科;基于Spark的机器学习应用框架研究与实现[D];上海交通大学;2015年
6 刘江龙;基于机器学习的射频指纹定位方法研究[D];电子科技大学;2015年
7 张蕾;基于机器学习的网络舆情采集技术研究与设计[D];电子科技大学;2014年
8 施宇;基于数据挖掘和机器学习的木马检测系统设计与实现[D];电子科技大学;2014年
9 施应敏;基于机器学习的Femtocell信道频谱与功率资源分配算法的研究[D];南京邮电大学;2015年
10 张柯;基于机器学习的错误定位方法研究[D];南京航空航天大学;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026