收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

复杂场景下的人体行为识别

吴秋霞  
【摘要】:随着信息技术的飞速发展,在过去的几十年里,我们见证了视频数据在生活中无限泛滥。在很多领域,能够自动理解视频内容就变得越来越重要。人的行为是视频内容中的重要组成部分,已经存在很多重要的研究工作是对视频中人的行为进行分析。但是,已提出的大部分研究方法都是基于简单场景特性的数据的研究,很难被应用到实际场景下人体行为的分析。在本文中,我们研究了实际场景下的人体行为识别,包括三个部分,多模态的人体行为识别方法;基于时空兴趣点选择的人体行为识别;基于局部特征全局背景的人体行为识别。 传统的人体行为识别的方法在动态背景等因素的影响下,已经不能满足复杂场景下人体行为识别的需要。我们通过对复杂场景下人体行为的特性进行分析,发现实际场景中的声音和行为有一定的对应性,例如电话铃声会伴随接电话的行为,因此,将实际场景中的声音信息加入到人体行为识别中,形成多模态(声音模态和视觉模态)的人体行为识别系统。另外,实际场景下人体行为所对应的声音信息存在多样性的特点,我们使用推广的多核学习的方法来挖掘更有效的声音特征。在最终决策时,我们使用模糊积分融合的方法,对声音和视觉两个模态的识别结果进行了决策层的融合。实验结果证明了我们提出的多模态人体行为识别系统能够得到更好的识别性能,同时也揭示了声音背景是如何帮助有效识别实际场景下的人体行为。 时空兴趣点已经被成功地应用于人体行为识别中,然而在实际场景中获取的大部分兴趣点与表征实际场景下的特定人体行为是无关的。因此,本文提出了一种删除无关时空兴趣点的方法,从而达到降低计算量并提高识别性能的目的。基于对注意机制的感知原理的分析,视觉显著性能够帮助定位视觉中的行为主体,因此我们根据显著图来选择相关的时空兴趣点,将未落入显著区域的兴趣点认定为无关的噪声点删除。实验结果证明了我们提出的方法可以减少计算量,并且能够提高系统的识别性能。 实际场景下的人体行为存在多样性的特点,因此如何对实际场景下的人体行为进行表征,就成了一个极具挑战性的研究课题。基于Bag-of-features模型的人体行为识别系统将人体行为表征成基于行为视频中关键点局部特征的分布。因此,用来表达各种关键点的局部特征相应地被提出。但是,这些局部特征却没有对关键点之间结构化的位置关系进行表达。在本文中,我们提出了使用形状背景描述符来表达这种结构化的信息,每个关键点由局部视觉属性,以及关键点相对于其他关键点之间结构化的全局背景来共同表征。实验结果证明了,我们提出的加入结构化信息的行为表征方法,在实际场景下具有更强的表征能力。另外,我们也研究了不同的特征描述符(SIFT描述符、HOGHOF描述符、形状背景描述符)对实际场景下的人体行为的表征能力,同时发现,在致密的关键点下使用我们提出的结构化的全局背景能够取得更好的识别结果。 本文的主要创新点可以总结如下:(1)本文提出了利用背景声音信息形成多模态的人体行为识别系统,更有效地对实际场景下的人体行为进行识别,本文的工作是首次使用多模态的特征来对实际场景下的人体行为进行识别。(2)本文利用推广的多核学习的方法,从大量的声音特征中挑选出能够对实际场景下的人体行为进行更有效表征的声音特征。(3)本文提出了利用模糊积分融合的方法,在决策层对多模态的信息进行融合,取得了更好的识别性能。(4)受到人的感知原理的启发,基于视觉注意机制的显著图被提取,由于视觉显著性能够帮助定位行为的主体,因此可以用来确定图像中的相关兴趣点,未落入显著区域的兴趣点被视为是无关兴趣点而被删除。(5)本文提出了利用形状背景描述符来描述局部关键点的结构化的位置关系,因此,每个关键点可以被描述成它的局部视觉属性,以及关键点相对于其他关键点之间结构化的全局背景的共同表达。


知网文化
【相似文献】
中国期刊全文数据库 前14条
1 衡霞;王忠民;;基于手机加速度传感器的人体行为识别[J];西安邮电大学学报;2014年06期
2 雷庆;陈锻生;李绍滋;;复杂场景下的人体行为识别研究新进展[J];计算机科学;2014年12期
3 韩雪平;吴甜甜;;基于深度学习的人体行为识别算法[J];数学的实践与认识;2019年24期
4 鲁统伟;任莹;;基于光流的人体行为识别[J];电脑知识与技术;2013年07期
5 王璇;王雄;张向阳;杨一;贾浩强;;基于OpenPose+3S-AGCN的行为识别研究[J];电子技术与软件工程;2022年02期
6 王兴;卞浩瑄;朱彬;安俊琳;;基于学生课堂行为识别的教学质量智能评价系统设计[J];现代电子技术;2021年14期
7 赵雄伟;;人体行为特征融合与行为识别的分析[J];无线互联科技;2017年12期
8 田国会;尹建芹;韩旭;于静;;一种基于关节点信息的人体行为识别新方法[J];机器人;2014年03期
9 李韵;邓晓军;李涛哲;贺迅宇;;视频中人体行为识别的时序建模算法的分析[J];电脑知识与技术;2021年05期
10 赵新秋;杨冬冬;贺海龙;段思雨;;基于深度学习的人体行为识别研究[J];高技术通讯;2020年05期
11 李红;臧晶;;基于深度学习的人体行为识别技术研究[J];科技资讯;2019年29期
12 孙秋媚;李蒙;;深度视频中人体行为识别的图建模技术[J];福建电脑;2020年07期
13 艾达;王倩;樊炜鑫;郝瑞;刘颖;;智能手机传感器的人体行为识别技术[J];西安邮电大学学报;2020年01期
14 汪洋;;基于深度神经网络的行为识别算法[J];电脑知识与技术;2021年03期
中国重要会议论文全文数据库 前20条
1 李贵;袁家政;刘宏哲;;基于深度学习的人体行为识别研究综述[A];中国计算机用户协会网络应用分会2021年第二十五届网络新技术与应用年会论文集[C];2021年
2 张金霖;甘春标;;基于视频监控的电梯乘客异常行为识别研究[A];第十八届全国非线性振动暨第十五届全国非线性动力学和运动稳定性学术会议(NVND2021)摘要集[C];2021年
3 陈琳;刘允刚;满永超;;基于分段双流通道卷积神经网络的行为识别[A];第三十九届中国控制会议论文集(7)[C];2020年
4 袁家政;刘宏哲;徐成;李扬志;米家辉;;基于深度学习的人体行为识别研究综述[A];中国计算机用户协会网络应用分会2020年第二十四届网络新技术与应用年会论文集[C];2020年
5 叶小东;胡孝楠;胡超越;郭新华;;基于室内声纳的人体行为识别研究[A];2018年全国声学大会论文集 E检测超声[C];2018年
6 齐娟;陈益强;刘军发;;基于多模信息感知与融合的行为识别[A];第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集[C];2009年
7 连儒东;李佳;;人体行为识别分析技术在检察监督中的应用及构建[A];深化依法治国实践背景下的检察权运行——第十四届国家高级检察官论坛论文集[C];2018年
8 孙琪翔;何宁;张则宇;;基于深度学习方法的人体行为识别综述[A];中国计算机用户协会网络应用分会2019年第二十三届网络新技术与应用年会论文集[C];2019年
9 安国成;罗志强;李洪研;;改进运动历史图的异常行为识别算法[A];第八届中国智能交通年会优秀论文集——智能交通与安全[C];2013年
10 何靖芸;周洪钧;;示教学习:一种端到端的机器人行为识别及生成的模仿学习方法[A];第36届中国控制会议论文集(E)[C];2017年
11 张洋;姚登峰;;人类的行为识别分类方法综述[A];中国计算机用户协会网络应用分会2019年第二十三届网络新技术与应用年会论文集[C];2019年
12 王忠民;张新平;梁琛;;基于滑动窗口异常数据提取的跌倒行为监测方法[A];2016年全国通信软件学术会议程序册与交流文集[C];2016年
13 王丽;沈洲;季露;;面向车辆违章行为识别的智能视频监控系统[A];物联网与无线通信-2017年全国物联网技术与应用大会和2017年全国无线电应用与管理学术会议论文集[C];2017年
14 刘威;李石坚;潘纲;;uRecorder:基于位置的社会行为自动日志[A];第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集[C];2009年
15 数采创新项目组;;“algMelt聚类融合算法”模型在零售客户数采异常行为识别中的探索与应用[A];中国烟草学会2015年度优秀论文汇编[C];2015年
16 郝明轩;刘巍;;核安全文化评价与工程实践[A];中国核学会核能动力学会核电质量保证专业委员会第十届年会暨学术报告会论文专集[C];2010年
17 屈立笳;苏红;涂刚;;基于安全事件关联分析的反垃圾邮件系统的研究[A];全国网络与信息安全技术研讨会’2004论文集[C];2004年
18 方帅;曹洋;王浩;;视频监控中的行为识别[A];2007中国控制与决策学术年会论文集[C];2007年
19 ;“algMelt聚类融合算法”模型在零售客户数采异常行为识别中的探索与应用[A];浙江省烟草学会2014年学术年会论文暨信息技术专业委员会科技成果汇编[C];2014年
20 王忠民;曹栋;;坐标转换在移动用户行为识别中的应用研究[A];2013年全国通信软件学术会议论文集[C];2013年
中国博士学位论文全文数据库 前20条
1 吴秋霞;复杂场景下的人体行为识别[D];华南理工大学;2012年
2 汪亮;基于可穿戴传感器网络的人体行为识别技术研究[D];南京大学;2014年
3 张洁;大规模跨场景无线行为识别与隐私保护研究[D];西北大学;2019年
4 姚光乐;视频序列中的行为识别技术研究[D];电子科技大学;2019年
5 席瑞;感知计算的若干关键技术研究[D];电子科技大学;2019年
6 李波;单目视觉三维重建与行为识别关键技术研究[D];西北工业大学;2018年
7 徐增敏;融合深度特征的人体行为识别技术研究及其在视频侦查中的应用[D];武汉大学;2019年
8 黄敏;RGBD视频中人体行为识别的特征表示方法研究[D];厦门大学;2017年
9 李红阳;视频行为识别关键技术研究[D];武汉大学;2019年
10 丁文文;基于三维骨架的时空表示与人体行为识别[D];西安电子科技大学;2017年
11 杨延华;潜在信息融合的多任务人体行为识别[D];西安电子科技大学;2017年
12 田艺;基于多样本与零样本学习的人体行为识别研究[D];北京交通大学;2018年
13 刘宇琦;视频人脸及人体行为识别关键技术研究[D];吉林大学;2018年
14 齐镗泉;基于深度学习的行为识别与旅游场景分类关键技术研究[D];华南理工大学;2017年
15 牛晓鹏;普适计算环境下人体行为识别及情景感知研究[D];北京科技大学;2018年
16 陈华锋;视频人体行为识别关键技术研究[D];武汉大学;2017年
17 刘祎楠;基于空时信息的行为识别方法研究[D];电子科技大学;2018年
18 梁锐;视频语义分析若干问题研究[D];电子科技大学;2018年
19 康飞龙;基于机器学习的多目标猪只状态与个体行为识别研究[D];内蒙古农业大学;2018年
20 许万茹;复杂人体行为分析的时空上下文方法研究[D];北京交通大学;2018年
中国硕士学位论文全文数据库 前20条
1 李长海;基于深度学习的人体行为识别算法研究[D];电子科技大学;2021年
2 蒋康康;基于信道状态信息和深度学习的穿墙人体行为识别[D];山东科技大学;2020年
3 高智;人体行为识别的若干技术研究[D];福建师范大学;2014年
4 宋浩诚;基于深度学习的视频人体行为识别研究[D];燕山大学;2021年
5 李永发;基于深度学习的人体行为识别关键技术的研究及实现[D];华南理工大学;2020年
6 杨航;基于深度学习的人体行为识别技术研究[D];北方工业大学;2020年
7 吕晓锋;多视角行为识别与估计[D];华南理工大学;2012年
8 胡希国;基于视频的轻量级人体行为识别算法研究[D];电子科技大学;2021年
9 章瑜;人体运动行为识别相关方法研究[D];南京师范大学;2015年
10 杨华聪;基于行为识别的个人运动健康管理移动应用的研究与实现[D];电子科技大学;2015年
11 黄先锋;基于视频序列的人体行为识别研究[D];桂林电子科技大学;2009年
12 张贝贝;人体行为识别算法的研究及其在智慧监狱中的应用[D];山东大学;2020年
13 李红;基于深度学习的人体行为识别技术研究[D];沈阳理工大学;2020年
14 方达;人体行为特征融合与行为识别研究[D];南京师范大学;2016年
15 陈钰昕;基于时空特性的人体行为识别研究[D];燕山大学;2015年
16 王洪斌;基于三轴加速度传感器的人体行为识别研究[D];江南大学;2014年
17 徐仙;基于单个加速度传感器的人体行为识别研究[D];江南大学;2015年
18 伍彩红;基于视觉的人体行为识别研究[D];华中师范大学;2011年
19 刘娟;视频中人体行为识别研究[D];兰州理工大学;2021年
20 周敏;人体行为识别算法研究与实现[D];广东工业大学;2020年
中国重要报纸全文数据库 前6条
1 记者 徐微;生物行为识别技术派上大用场[N];长春日报;2019年
2 东林;行为识别新技术让监控没有“死角”[N];人民公安报;2007年
3 本报评论员;擦亮我们的世纪品牌[N];中国铁道建筑报;2000年
4 本报记者 马爱平;动一动就认清你?机器说可以[N];科技日报;2017年
5 符蓉通讯员 刘潇;外经贸职院引入大学新形象系统工程[N];湖南日报;2007年
6 本报记者 张琳;防垃圾邮件怎样“行为识别”[N];网络世界;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978