收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于表面肌电和加速度信号融合的动作识别和人体行为分析研究

成娟  
【摘要】:以人为中心的智能化人机交互一方面要求计算机具有自动检测、分析和理解人类更多的姿势、行为动作、生理心理状态、语言、情感和触觉等自然能力;另一方面要求其应用和服务具备感知周围情境信息的能力,并且能够根据感知情境的变化提供相应的服务。基于人体行为动作识别技术的非键盘输入方式既适用于微型化可移动设备使用环境和双手无法空闲的交互场合,又适用于聋哑人与正常人交流的手语识别系统和其他新颖的人机交互技术研究平台。同时,作为情境感知中的重要因素之一,行为感知在移动健康监护具有重要研究意义,对空巢独居老年人或慢性疾病患者提供日常行为监测服务,发现异常情况及时报警并采取救援行动,这对保障老年人和患者的生活很有裨益。 本文以精细手指按键动作、手语手势动作以及下肢步态动作为研究对象,对基于表面肌电(Surface electromyogranphy, SEMG)信号或/和加速度(Acceleration, ACC)信号的多类行为动作的感知与识别进行了深入研究,并开展了一定规模的用户测试实验。其中,基于按键动作识别和虚拟键盘模拟手机交互平台的实现可促进智能化人机交互接口技术的发展和应用推广;融合SEMG和ACC信号的下肢动态步态动作的识别研究一方面提高了步态行为动作识别的准确性,另一方面将人体行为动作SEMG识别技术推广到智能化的情境感知应用领域,对指导人类行为理解、康复医学工程等领域的研究具有重要意义;而中国普乐手语手势动作的识别研究实现了较小训练负担下中国汉字较高识别结果,为聋人与健听人的交流提供了强有力的桥梁,其研究成果将直接造福于聋人群体。本文主要的研究工作和创新点包括: 1.基于SEMG信号手指按键动作识别和虚拟键盘交互实现。此研究旨在探索实现随时随地“无形”键盘输入方式的可行性。主要研究工作如下:1)以右手16类手指按键动作和4类控制动作为研究对象,对包含信号采集、活动段分割、特征提取和分类识别在内的手势动作SEMG信号识别方法进行了研究,提出了一种适用于实时交互平台的算法;2)结合神经肌肉控制生理学知识确定了多通道SEMG电极安放位置;3)构建了基于手势动作识别的虚拟键盘进行模拟手机交互,并开展用户调查实验。基于多类手势动作识别的虚拟键盘交互技术,其手势动作的平均识别率可达94%,且用户经过适当的动作训练后可实现任意平面手势动作SEMG无形虚拟键盘的“随身携带”。同时,用户调查实验结果显示了该交互方式具有一定的新颖性,是一种用户可完全接受的人机交互方式。 2.融合SEMG和ACC信号的人体日常行为动作感知和跌倒检测研究。此研究的目标是通过对用户日常行为动作感知与识别,实现独居老年人或者慢性疾病患者的健康监护,保障其生活质量。主要研究工作包括:1)从健康监护平台的实时性和低计算复杂度要求出发,引入身体姿态的概念,将日常行为动作分解为静态行为动作、各静态行为动作转换形成的动态转移动作,以及一类特殊的由“站”到“站”产生的步态行为动作。2)提出直方图负熵的概念,利用熵表征时间序列不确定度和复杂度的能力,实现了基于ACC信号直方图熵的静态动作和动态动作活动段分割。对于静态动作活动段信号,采用多级夹角阂值决策算法实现了不同身体姿态的识别,对于动态行为动作,结合动态动作活动段的前后身体姿态变化信息将其成功识别为动态转移动作和步态行为动作。3)采用SEMG和ACC信号融合的双流HMMs进行了特定步态行为动作模式识别,同时结合身体姿态变化信息和合加速度幅值阈值信息实现了正常转移动作和跌倒动作的判断。4)设计连续日常行为动作和跌倒动作数据采集实验,验证了该方法进行日常行为感知和跌倒检测的有效性。在行为感知和识别中引入身体姿态信息,有效节约了分类识别系统的计算资源开销;前后身体姿态变化信息和活动段内合加速度幅值阈值相结合的方法提高了跌倒检测的准确性,为未来独居老年人和慢性疾病患者的健康监护提供保障方案奠定了研究基础;融合SEMG和ACC信号进行步态行为动作分类识别研究,一方面提高了步态行为动作的识别率,另一方面将下肢行为动作SEMG引入情境感知领域的行为感知应用中,开启了情境感知领域中行为感知的应用思路。 3.融合SEMG和ACC信号的词汇量可扩展的连续中国普乐手语识别研究。此研究旨在采用较小负担的用户训练样本,实现词汇量可扩展的中国普乐手语识别方法。这部分的研究工作主要包括:1)采用要素概念,充分利用SEMG在检测精细手形动作方面的优势和ACC在检测大尺度的运动轨迹方面的优点,创新性地提出了融合SEMG和ACC信号中国普乐手语手势动作执行方案。该方案涉及的手形和运动轨迹要素其规模较小且数目恒定,并不会随着中国汉字词汇量的扩展而发生变化,从而保障了较小的用户训练负担。2)针对连续手势动作相对于孤立手势动作活动段分割中存在的两种信噪比低的情况,提出模糊熵算法,实现了连续手势动作活动段的有效分割。3)分别采用各要素分类器并加入决策融合机制,对由223个中国汉字构成的504个日常情境句子进行分类识别。实验结果表明,提出的模糊熵算法可以有效解决连续手势动作活动段分割问题,确定要素分类器的先后顺序可以进一步降低用户训练负担,其决策融合机制在一定程度上减少了中国汉字识别的传递误差。该手语识别方法实现了较小训练负担基础上中国汉字较高的识别结果,为中国手语手势动作识别提供了一种补充形式,为连续手语识别系统的应用推广提供了新思路。 本论文的研究得到了国家863高科技研究发展计划“基于肌电传感器和加速计的手势交互设备研究”(2009AA012322)、中央高校基本科研业务费专项资金“基于情境感知的多源信息分析和理解”(WK2100230002)、Nokia芬兰赫尔辛基研究中心和北京研究院合作项目,以及中国科学技术大学研究生创新基金资助。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 倪世宏,史忠科,谢川,王彦鸿;军用战机机动飞行动作识别知识库的建立[J];计算机仿真;2005年04期
2 李晓光;刘畅;;不走寻常路 CECT V958[J];移动信息;2007年04期
3 ;高灵敏度传感器实现动作识别,满足消费电子市场需求[J];半导体技术;2007年05期
4 赵学玲;朱雁锋;郝立果;郑桐;;加速度传感器在动作识别中的应用[J];机床与液压;2011年02期
5 ;高灵敏度传感器实现动作识别满足消费电子市场需求[J];世界电子元器件;2007年06期
6 徐光祐;曹媛媛;;动作识别与行为理解综述[J];中国图象图形学报;2009年02期
7 汪力;叶桦;夏良正;;基于半马尔可夫和Large-margin的动作识别[J];中国图象图形学报;2009年11期
8 陈师亮;;动作识别技术与虚拟演播室系统结合的思考[J];影视制作;2011年05期
9 ;高灵敏度传感器实现动作识别,满足消费电子市场需求[J];单片机与嵌入式系统应用;2007年05期
10 彭湃;;高灵敏度传感器实现动作识别满足消费电子市场需求[J];今日电子;2007年05期
11 汪力;叶桦;夏良正;;一种结合形状序列和DTW的动作识别方法[J];数据采集与处理;2009年05期
12 澎湃;;高灵敏度传感器实现动作识别满足消费电子市场需求[J];中国电子商情(基础电子);2007年05期
13 杨阳;;基于视频人体运动分析[J];知识经济;2011年11期
14 柳小波;杨杰;陈宁江;沈红斌;张清风;陈鑫;;无线传感器网络及智能环境控制[J];微型电脑应用;2006年02期
15 程祥;;人体动作识别的研究[J];电脑知识与技术(学术交流);2006年20期
16 ;高灵敏度传感器实现动作识别,满足消费电子市场需求[J];中国集成电路;2007年06期
17 彭湃;;高灵敏度传感器实现动作识别 满足消费电子市场需求[J];电子技术应用;2007年06期
18 黄飞跃;徐光祐;;视角无关的动作识别[J];软件学报;2008年07期
19 朱文球;刘强;;基于条件随机域的上下文人类动作识别[J];计算机工程与应用;2008年28期
20 马廷淮;葛荐;王亚里;;动作识别训练数据的扩展研究[J];计算机与数字工程;2010年11期
中国重要会议论文全文数据库 前10条
1 叶喜勇;陶霖密;王国建;邸慧军;;视角无关的人体躯干动作识别[A];第六届和谐人机环境联合学术会议(HHME2010)、第19届全国多媒体学术会议(NCMT2010)、第6届全国人机交互学术会议(CHCI2010)、第5届全国普适计算学术会议(PCC2010)论文集[C];2010年
2 朱岩;赵旭;刘允才;;基于稀疏编码和局部时空特征的人体动作识别[A];第十五届全国图象图形学学术会议论文集[C];2010年
3 袁飞;程韬波;周松斌;肖先文;;基于加速度特征的可拓动作识别方法[A];广州市仪器仪表学会2009年学术年会论文集[C];2010年
4 黄艳欢;叶少珍;;连续动作分割综述[A];第十四届全国图象图形学学术会议论文集[C];2008年
5 吴浩浩;罗志增;;基于肌电信号信号轮廓DTW的手部动作识别方法[A];第七届全国康复医学工程与康复工程学术研讨会论文集[C];2010年
6 黄飞跃;徐光祐;;多摄像机应用中的视频同步[A];第三届和谐人机环境联合学术会议(HHME2007)论文集[C];2007年
7 王人成;刘启栋;罗志增;郑双喜;;腕部截肢者表面肌电信号分析及手指动作识别[A];第七届全国康复医学工程与康复工程学术研讨会论文集[C];2010年
8 何乐生;胡耀航;王威廉;;基于精确起始时刻同步的肌电信号动作识别方法[A];2010中国仪器仪表与测控技术大会论文集[C];2010年
9 王彦鸿;倪世宏;王刚;谢川;;基于遗传算法的飞行动作识别规则获取方法[A];中国航空学会控制与应用第十二届学术年会论文集[C];2006年
10 陈玲玲;杨鹏;祖丽楠;张腾宇;李立峰;;基于Hilbert-Huang变换的表面肌电信号分析与模式识别[A];2009中国控制与决策会议论文集(3)[C];2009年
中国博士学位论文全文数据库 前10条
1 邓利群;三维人体动作识别及其在交互舞蹈系统上的应用[D];中国科学技术大学;2012年
2 任海兵;非特定人自然的人体动作识别[D];清华大学;2003年
3 成娟;基于表面肌电和加速度信号融合的动作识别和人体行为分析研究[D];中国科学技术大学;2013年
4 黄彬;智能空间中人的行为识别与理解[D];山东大学;2010年
5 张旭;基于表面肌电信号的人体动作识别与交互[D];中国科学技术大学;2010年
6 赵琼;基于视频和三维动作捕捉数据的人体动作识别方法的研究[D];中国科学技术大学;2013年
7 蔡美玲;三维人体运动分析与动作识别方法[D];中南大学;2013年
8 曹雏清;面向多方式人际交互的肢体动作识别研究[D];哈尔滨工业大学;2012年
9 邓小宇;面向智能视频监控的前景提取和动作识别技术研究[D];浙江大学;2012年
10 李海涛;面向家庭智能空间主动服务的目标行为分析与识别[D];燕山大学;2013年
中国硕士学位论文全文数据库 前10条
1 刘伟盛;基于词袋模型的目标跟踪和动作识别算法研究[D];厦门大学;2014年
2 洪琛;交互式系统中三维人体动作识别的研究[D];上海交通大学;2013年
3 郝丽芳;模拟视皮层双通路理论的动作识别[D];中南民族大学;2013年
4 刘浩;基于时空关键点的动作识别算法研究[D];华中科技大学;2011年
5 刘涛;基于视频序列的人体动作识别[D];河北大学;2013年
6 李蕾;增强现实应用中的头部动作识别技术研究[D];北方工业大学;2014年
7 刘刚;视频监控中人的动作识别[D];南京邮电大学;2013年
8 师小凯;基于隐马尔科夫模板模型的视频动作识别算法研究[D];武汉理工大学;2013年
9 张庆宾;智能空间下基于AHRS的人体动作识别[D];山东大学;2014年
10 顾颖媛;稀疏表示在基于视频的人体动作识别中的应用研究[D];清华大学;2013年
中国重要报纸全文数据库 前8条
1 记者 顾瑾 通讯员 徐红萍;杭州电信推出“网络健身馆”[N];人民邮电;2010年
2 本报记者 陈丹;人与机器的“对话”[N];科技日报;2010年
3 本刊记者 张晓哲;五光十色的“新兴生活”[N];中国经济导报;2010年
4 本报记者 张楠;没有看上去那么美 苹果iPod Touch4缺陷曝光[N];中国计算机报;2010年
5 ;用户希望笔记本电脑能够更加智能化[N];中国计算机报;2010年
6 汉任;三星S8000C将手机带入全触屏时代[N];科技日报;2009年
7 姑苏飘雪;方寸之间 自由把控[N];电脑报;2010年
8 北京航空航天大学电子信息工程学院 毛峡 李峥;情感计算能实现吗[N];科技日报;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978