收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

视频语义分析若干问题研究

梁锐  
【摘要】:视频语义分析研究的关键是如何跨越底层视觉特征与高层语义之间的“语义鸿沟”。尽管这方面已经提出了大量的理论与算法,由于数据的复杂性,该领域仍然存在着大量问题没有得到很好的解决,例如数据冗余、语义对象及行为识别率低、算法运算效率低、语义描述准确性低等问题,针对这些问题展开研究,本文主要成果如下:(1)针对视频数据存在大量冗余信息的特性,提出了两种视频降维表达方法。一种是基于帧的CNN特征,通过设定三个阈值完成镜头分割;然后基于完全图提取镜头关键帧;最后以所有镜头的关键帧的特征表示视频。另一种方法首先通过光流场确定运动对象位置;然后为每个像素点引入时间维度,通过插值算法构建双边空间;通过图割理论实现运动对象自动分割;最后将分割得到的标注结果还原到原始空间。这两种方法能够有效地保留视频关键信息,极大的减小了数据规模和计算量。(2)针对夜间行人检测问题,提出一种基于熵改进的HOG和SVM的检测算法。该算法引入熵权改进HOG特征以加速分类过程,改进SVM只保留少量支持向量以提升算法效率,根据ROI区域的高度训练不同的SVM模型检测视频中不同距离镜头中的行人,并增加了头部检测步骤,以提升识别率。实验结果表明该算法可有效提高了夜间行人检测的准确率和效率。(3)针对行为识别问题,基于Two-Stream CNN模型构建了一个行为识别框架。首先使用通过光流CNN获取的知识增强的运动向量来训练时间域CNN提取时间域特征,得到的增强运动向量可降低计算复杂度;然后使用基于视频镜头分割与关键帧提取的方法提取的关键帧训练空间域CNN提取空间特征;在后期隐含层中增加一个可区分表示模块,为后期隐含层提供额外标签信息,有效的避免早期隐含层梯度消失导致的收敛速度变缓,网络可能收敛到一个局部最小值的问题;最后融合时间域特征与空间域特征训练识别模型。实验证明该识别框架可有效提升了行为识别的准确率和效率。(4)针对视频语义描述问题,设计了一种基于多特征融合和LSTM的视频自然语言描述方法。首先提取多种不同特征,如空间特征、时间特征、运动特征等;在模型训练前后期,使用拼接、加权、微调等方法进行特征融合,训练多个视频自然语言描述模型;最后进行不同模型的组合实验,实验结果表明此方法能够提高视频自然语言描述的准确率。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 孙彬;孔德慧;张雯晖;贾文浩;;基于深度图像的人体行为识别综述[J];北京工业大学学报;年期
2 陈煜平;邱卫根;基于视觉的人体行为识别算法研究综述[J];计算机应用研究;2019年07期
3 杨晨晨;马春梅;朱金奇;;基于智能手机跌倒行为识别算法研究[J];计算机工程;年期
4 富倩;;人体行为识别研究[J];信息与电脑(理论版);2017年24期
5 赵雄伟;;人体行为特征融合与行为识别的分析[J];无线互联科技;2017年12期
6 雷庆;陈锻生;李绍滋;;复杂场景下的人体行为识别研究新进展[J];计算机科学;2014年12期
7 鲁统伟;任莹;;基于光流的人体行为识别[J];电脑知识与技术;2013年07期
8 王新旭;;基于视觉的人体行为识别研究[J];中国新通信;2012年21期
9 刘相滨,向坚持,王胜春;人行为识别与理解研究探讨[J];计算机与现代化;2004年12期
10 ;城市形象设计与建设(连载)——第十章 城市行为识别[J];经济工作导刊;2000年01期
11 岳兴录,陈素贤;企业形象策划的行为识别和视觉识别[J];辽宁经济;1996年06期
12 张伟东;陈峰;徐文立;杜友田;;基于阶层多观测模型的多人行为识别[J];清华大学学报(自然科学版)网络.预览;2009年07期
13 曹博;刘志刚;刘文评;祝军;;人体行为识别的数据库对比研究[J];中国科技信息;2017年17期
14 田国会;尹建芹;韩旭;于静;;一种基于关节点信息的人体行为识别新方法[J];机器人;2014年03期
15 罗会兰;王婵娟;卢飞;;视频行为识别综述[J];通信学报;2018年06期
16 谭程午;;基于分层特征的群体行为识别[J];信息通信;2017年02期
17 周书仁;曹思思;蔡碧野;;基于改进极限学习机算法的行为识别[J];计算机工程与科学;2017年09期
18 衡霞;王忠民;;基于手机加速度传感器的人体行为识别[J];西安邮电大学学报;2014年06期
19 张飞燕;李俊峰;沈军民;;基于梯度和光流统计特性的人体行为识别[J];光电子·激光;2015年08期
20 刘景;邓莎莎;童晶;陈正鸣;;基于人计算的小鼠行为识别[J];计算机应用;2014年02期
中国重要会议论文全文数据库 前10条
1 齐娟;陈益强;刘军发;;基于多模信息感知与融合的行为识别[A];第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集[C];2009年
2 连儒东;李佳;;人体行为识别分析技术在检察监督中的应用及构建[A];深化依法治国实践背景下的检察权运行——第十四届国家高级检察官论坛论文集[C];2018年
3 安国成;罗志强;李洪研;;改进运动历史图的异常行为识别算法[A];第八届中国智能交通年会优秀论文集——智能交通与安全[C];2013年
4 何靖芸;周洪钧;;示教学习:一种端到端的机器人行为识别及生成的模仿学习方法[A];第36届中国控制会议论文集(E)[C];2017年
5 王忠民;张新平;梁琛;;基于滑动窗口异常数据提取的跌倒行为监测方法[A];2016年全国通信软件学术会议程序册与交流文集[C];2016年
6 刘威;李石坚;潘纲;;uRecorder:基于位置的社会行为自动日志[A];第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集[C];2009年
7 数采创新项目组;;“algMelt聚类融合算法”模型在零售客户数采异常行为识别中的探索与应用[A];中国烟草学会2015年度优秀论文汇编[C];2015年
8 郝明轩;刘巍;;核安全文化评价与工程实践[A];中国核学会核能动力学会核电质量保证专业委员会第十届年会暨学术报告会论文专集[C];2010年
9 屈立笳;苏红;涂刚;;基于安全事件关联分析的反垃圾邮件系统的研究[A];全国网络与信息安全技术研讨会’2004论文集[C];2004年
10 方帅;曹洋;王浩;;视频监控中的行为识别[A];2007中国控制与决策学术年会论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 陈华锋;视频人体行为识别关键技术研究[D];武汉大学;2017年
2 刘祎楠;基于空时信息的行为识别方法研究[D];电子科技大学;2018年
3 梁锐;视频语义分析若干问题研究[D];电子科技大学;2018年
4 齐镗泉;基于深度学习的行为识别与旅游场景分类关键技术研究[D];华南理工大学;2017年
5 牛晓鹏;普适计算环境下人体行为识别及情景感知研究[D];北京科技大学;2018年
6 汪亮;基于可穿戴传感器网络的人体行为识别技术研究[D];南京大学;2014年
7 王江涛;基于视频的目标检测、跟踪及其行为识别研究[D];南京理工大学;2008年
8 姜新波;基于三维骨架序列的人体行为识别研究[D];山东大学;2015年
9 仝钰;基于条件随机场的智能家居行为识别研究[D];大连海事大学;2015年
10 于成龙;基于视频的人体行为识别关键技术研究[D];哈尔滨工业大学;2014年
中国硕士学位论文全文数据库 前10条
1 刘静雪;基于深度学习的洗车工行为识别方法研究[D];哈尔滨工程大学;2017年
2 刘雪君;基于深度学习的人体行为识别算法研究[D];东北电力大学;2018年
3 郭新然;基于视觉的人体行为识别技术研究[D];北方工业大学;2018年
4 余兴;基于深度学习的视频行为识别技术研究[D];电子科技大学;2018年
5 陈玲;基于深度学习的人体行为识别方法研究[D];电子科技大学;2018年
6 杨林川;基于深度神经网络的司机行为识别技术研究与实现[D];电子科技大学;2018年
7 叶茂权;基于视频的人体行为识别的理论与方法研究[D];电子科技大学;2018年
8 钟萍;基于RGBD数据的人体行为识别方法的研究[D];湖南大学;2017年
9 郑君;基于深度学习的多人行为识别方法的研究[D];中国石油大学(华东);2016年
10 常伟;基于时间序列分析的行为识别技术研究[D];青岛科技大学;2017年
中国重要报纸全文数据库 前10条
1 甘肃省武威市凉州区第一幼儿园 刘桂娥;从幼儿行为识别教育误区[N];中国教育报;2018年
2 东林;行为识别新技术让监控没有“死角”[N];人民公安报;2007年
3 素杰;形象就是影响力[N];中国包装报;2004年
4 本报记者 马爱平;动一动就认清你?机器说可以[N];科技日报;2017年
5 国家邮政局公众服务部;明确经营理念 推进形象工程[N];中国邮政报;2002年
6 何正坤;安全文化与企业CI战略[N];中华合作时报;2003年
7 国家税务总局法规司 张学瑞;加强税收违法行为识别的研究[N];中国税务报;2013年
8 符蓉通讯员 刘潇;外经贸职院引入大学新形象系统工程[N];湖南日报;2007年
9 农发行鹿邑支行党支部书记 行长 刘永贞;发行形象与文化落地农[N];周口日报;2007年
10 李晨光;导入CIS要注意什么?[N];河北经济日报;2001年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978