收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于注意力机制的声学事件检测方法研究

徐义超  
【摘要】:声学事件检测(Acoustic Event Detection,AED)广泛应用在机器的环境感知、多媒体信息检索等领域,是促进社会智能化发展的重要技术手段,具有重要的研究意义和实际应用价值。传统的声学事件检测方法主要基于传统机器学习算法,需要人工完成复杂的特征工程。此外,目前已知的声学事件检测数据集仍存在数据量不足,事件类别不平衡的问题,基于深度学习的声学事件检测方法仍旧没有达到理想的检测性能。本文针对上述的问题,首先提出空间-通道(spatial-channel)注意力机制,并结合相应的卷积神经网络(Convolutional Neural Network,CNN)来提取和声学事件更加有关的高层抽象特征,再结合循环神经网络(Recurrent Neural Network,RNN)构建最终的声学事件检测模型,完成最终的声学事件检测任务。针对声学事件检测任务和不同卷积神经网络的特点,本文选择对残差网络(Res Net)和密集卷积网络(Dense Net)模型以及牛津大学计算机视觉组提出的卷积网络(VGGNet)结合空间-通道注意力机制提出基于Att VGGNet-RNN、Att Res Net-RNN以及Att Dense Net-RNN检测模型的声学事件检测方法。实验结果表明,相比其他未结合空间-通道注意力机制的检测模型的检测方法,基于Att VGGNet-RNN、Att ResNet-RNN以及Att Dense Net-RNN检测模型的声学事件检测方法检测性能更优,其中基于Att Dense Net-RNN检测模型的声学事件检测方法检测性能最优。这也验证了本文提出的空间-通道注意力机制能够有效地提升声学事件检测性能。由于音频数据中同一时间上存在声学事件的重叠,采用胶囊网络(Capsule Network,Caps Net)完成声学事件检测,通过其路由机制让模型预测声学事件的存在与否,自发投票,能够更加有效地检测出事件的重叠。在此基础上,为了进一步提高声学事件检测性能,本文提出基于注意力胶囊网络的声学事件检测方法,将胶囊网络和注意力机制相结合提出Att Cpas Net模型,并在其后添加RNN构建Att Caps Net-RNN声学事件检测模型,完成最终的声学事件检测任务。与基于Att VGGNet-RNN、Att Res Net-RNN以及Att Dense Net-RNN检测模型的声学事件检测方法相比,基于Att Caps Net-RNN检测模型的声学事件检测方法取得了更优的检测性能,验证了基于注意力胶囊网络的声学事件检测方法能够有效地提升声学事件检测性能。


知网文化
【相似文献】
中国期刊全文数据库 前18条
1 齐宏卓;王健;鲁颖欣;;利用上下文信息的网球赛声学事件检测[J];哈尔滨理工大学学报;2013年04期
2 石自强;韩纪庆;郑铁然;;鲁棒声学事件检测综述[J];智能计算机与应用;2012年06期
3 韩纪庆;;声学事件检测技术的发展历程与研究进展[J];数据采集与处理;2016年02期
4 张秀华;云红艳;贺英;胡欢;;基于注意力机制的新闻事件检测研究与应用[J];计算机与数字工程;2021年06期
5 闻佳;王宏君;邓佳;刘鹏飞;;基于深度学习的异常事件检测[J];电子学报;2020年02期
6 刘伟;;高速公路视频事件检测系统研究[J];智能城市;2021年10期
7 高利剑;毛启容;;环境辅助的多任务混合声音事件检测方法[J];计算机科学;2020年01期
8 杨常华;;基于深度学习的高速公路视频事件检测系统分析[J];山西电子技术;2020年02期
9 ;更正启示[J];测绘与空间地理信息;2017年11期
10 续宏;赵文洁;;高速公路事件检测系统发展趋势[J];中国交通信息化;2012年11期
11 张婧丽;周文瑄;洪宇;姚建民;周国栋;朱巧明;;基于框架语义扩展训练集的有监督事件检测方法[J];中文信息学报;2019年05期
12 汤伟;付雅文;;大规模RFID复杂事件检测优化技术研究[J];信息与电脑(理论版);2009年14期
13 王亚;徐传飞;陈艳格;;基于内外存调度的长过程复杂事件检测[J];计算机科学;2012年08期
14 王永恒;杨圣洪;郭波;;高效的射频识别数据流层次复杂事件检测[J];计算机工程;2010年06期
15 吴文彬;;基于交通视频大数据的事件检测系统[J];广东公路交通;2021年04期
16 申晨;林鸿飞;;基于图嵌入的社交媒体药物不良反应事件检测方法[J];大连理工大学学报;2020年05期
17 王吉地;郭军军;黄于欣;高盛祥;余正涛;张亚飞;;融合依存信息和卷积神经网络的越南语新闻事件检测[J];南京大学学报(自然科学);2020年01期
18 黎兆勇;;视频事件检测系统在高速公路的应用[J];西部交通科技;2019年11期
中国重要会议论文全文数据库 前20条
1 刘海龙;李战怀;陈群;;RFID供应链系统中的在线复杂事件检测方法[A];NDBC2010第27届中国数据库学术会议论文集A辑二[C];2010年
2 洪宇;张宇;范基礼;刘挺;李生;;基于子话题分治匹配的新事件检测[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
3 朱强华;郑铁然;韩纪庆;;行车环境下基于二值语谱图的声学事件检测[A];第十二届全国人机语音通讯学术会议(NCMMSC2013)论文集[C];2013年
4 张永忠;赵静;;基于事件检测算法的交通数据分析系统[A];中国计量协会冶金分会2008年会论文集[C];2008年
5 范旭东;朱一凡;梁彬;邹欣晔;杨京;程建春;;基于声学人工材料的宽带三维声学聚焦[A];2016年全国声学学术会议论文集[C];2016年
6 徐海亭;;前言[A];2009年浙苏黑鲁津四省一市声学学术会议论文集[C];2009年
7 孙光甦;;二十载春华秋实 新世纪任重道远——湖北省声学学会成立二十周年工作总结[A];湖北省声学学会成立二十周年纪念文集[C];2006年
8 王文;齐永莲;;声学教育与产业发展研究[A];2018年全国声学大会论文集 P声学测量与仪器 Q声学换能器 S声学教育[C];2018年
9 刘晓峻;;声学超构表面及其应用[A];中国声学学会2017年全国声学学术会议论文集[C];2017年
10 赵荆新;;演艺场馆建筑声学实践中常见问题[A];2016年全国声学设计与演艺建筑工程学术会议论文集[C];2016年
11 杨庚;沈国清;李铁林;王肖梦;李昂;;声学测温在工程中的应用研究[A];2019年全国声学大会论文集[C];2019年
12 李磊;靳建嘉;袁连喜;陈洪娟;;虚仿技术在声学实验教学中的应用与思考[A];2019年全国声学大会论文集[C];2019年
13 钟剑平;李红;唐菠;王固宁;钟高辉;;浅谈公共娱乐场所建设与运营中的声学问题[A];2014年全国声学设计与演艺建筑工程学术会议论文集[C];2014年
14 谭华;;住宅性能中的声学指标[A];绿色建筑与建筑物理——第九届全国建筑物理学术会议论文集(一)[C];2004年
15 蒲志强;;用简单声学计算提高厅堂现场声学特性测量效率[A];2007’促进西部发展声学学术交流会论文集[C];2007年
16 余斌;;哈尔滨大剧院声学缩尺模型试验研究[A];2016年全国声学设计与演艺建筑工程学术会议论文集[C];2016年
17 路晓东;李英;;浅议公共大空间声学问题[A];绿色建筑与建筑物理——第九届全国建筑物理学术会议论文集(二)[C];2004年
18 李晓东;杨军;李双田;邱小军;沈勇;吴玺宏;谢菠荪;田静;;通信声学:过去、现在和未来[A];中国声学学会2007年青年学术会议论文集(上)[C];2007年
19 周陆军;方剑青;马超;;应用比值法提取声学共振谱特征[A];中国声学学会第十届青年学术会议论文集[C];2013年
20 王龙飞;刘炳寅;李伟;;浅谈汽车声学包控制[A];第十三届河南省汽车工程科技学术研讨会论文集[C];2016年
中国博士学位论文全文数据库 前20条
1 冯亚闯;视频中的异常事件检测算法研究[D];中国科学院大学(中国科学院西安光学精密机械研究所);2016年
2 姚凌云;基于分区光滑理论与无网格法的声学数值方法研究[D];湖南大学;2011年
3 刘昌余;多媒体事件检测中的关键技术研究[D];华南理工大学;2015年
4 张军;声学—结构灵敏度及结构—声学优化设计研究[D];大连交通大学;2006年
5 葛浩;声学人工结构材料中的拓扑效应研究[D];南京大学;2019年
6 陈帝超;基于声学超表面的聚焦效应研究[D];南京师范大学;2021年
7 胡成博;基于声学超构材料的空间与频域声波操控研究[D];南京大学;2021年
8 沈雪华;基于声学测温的温度场重建算法研究[D];重庆大学;2016年
9 王宗胜;基于注意力的证券投资选择[D];天津财经大学;2007年
10 张炳荣;大规模声学计算的快速多极基本解法及声学灵敏度分析[D];合肥工业大学;2013年
11 张直政;神经网络的注意力机制研究[D];中国科学技术大学;2021年
12 侯颜良;针药结合治疗小儿注意力不集中症的临床研究[D];南京中医药大学;2013年
13 李正涛;基于注意力机制的光谱地物分类方法研究[D];华中科技大学;2020年
14 袁保国;基于卷曲空间结构的声学超构透镜研究[D];南京大学;2020年
15 刘华兴;被动声学测波新方法的实验研究及应用[D];中国海洋大学;2010年
16 倪旭;声学人工结构材料及其物理效应的研究[D];南京大学;2015年
17 张锦华;药物过度使用性头痛的注意力损伤:神经生理与行为学证据[D];浙江大学;2015年
18 杜飞;基于注意力机制的视觉目标跟踪方法研究[D];哈尔滨工业大学;2021年
19 张志旺;声学系统中的拓扑态及相关功能器件研究[D];南京大学;2020年
20 李善德;大规模声学问题的快速多极边界元方法研究[D];华中科技大学;2011年
中国硕士学位论文全文数据库 前20条
1 徐义超;基于注意力机制的声学事件检测方法研究[D];哈尔滨工程大学;2021年
2 孔鸿运;行车环境下鲁棒的声学事件检测方法[D];哈尔滨工业大学;2013年
3 裴孝中;行车噪声环境下的快速声学事件检测方法研究[D];哈尔滨工业大学;2015年
4 王鑫;基于深度学习的视频异常行为事件检测方法研究[D];深圳大学;2019年
5 孙佳宇;多通道身份互证机制下的监考事件检测[D];华中师范大学;2019年
6 李先苦;基于深度学习的声学场景分类与声音事件检测[D];华南理工大学;2019年
7 吕艳艳;基于人群的异常事件检测的研究[D];杭州电子科技大学;2016年
8 黄蒙蒙;基于高效用模式和多分配图划分的推特突发事件检测研究[D];合肥工业大学;2019年
9 冯琦;基于视频分析的跌倒事件检测算法研究[D];重庆邮电大学;2018年
10 林泽航;基于深度模型的事件检测算法研究[D];广东工业大学;2019年
11 李建忠;面向社交网络的科技领域事件检测系统的研究与实现[D];西安电子科技大学;2019年
12 田影;基于CRNN-HMM的声学事件检测方法研究[D];沈阳工业大学;2019年
13 刘亚明;基于深层神经网络的多声音事件检测方法研究[D];中国科学技术大学;2019年
14 曹鑫坤;基于深度学习的监控视频分析与事件检测[D];北京邮电大学;2019年
15 李朋;基于深度学习的监控视频事件检测[D];北京邮电大学;2019年
16 杨文君;面向流程工业的复杂事件检测方法研究[D];齐鲁工业大学;2019年
17 高利剑;环境辅助的混合声音事件检测方法研究[D];江苏大学;2019年
18 李文钊;基于多传感器数据融合的高速公路事件检测方法研究[D];重庆交通大学;2018年
19 张扬;基于卷积自编码器的异常事件检测研究[D];浙江大学;2018年
20 赵玉坤;深度学习与多元特征相结合的事件检测与摘要研究[D];哈尔滨工业大学;2018年
中国重要报纸全文数据库 前20条
1 北京商报记者 刘凤茹;万魔声学借壳共达电声被否[N];北京商报;2019年
2 本报记者 周昊;共达电声逾33亿元重组折戟[N];中国经营报;2020年
3 本报记者 沈春蕾;用声学前端技术赢得“话语”[N];中国科学报;2019年
4 西江日报记者 梁旭妍;亿尔声学”入驻一年驶上发展“快车道”[N];西江日报;2018年
5 本报记者 赵琳 见习记者 王僖;共达电声拟34亿元收购万魔声学100%股权 董事长谢冠宏对业绩承诺很有信心[N];证券日报;2018年
6 记者 孙燕飚;瑞声声学一季度净利润增长1.25倍[N];第一财经日报;2010年
7 本报记者 齐芳 通讯员 发强;中科院声学所:探索声音的奥秘[N];光明日报;2004年
8 方隽杰 陈磊;声学成像快速准确识别线路安全隐患[N];国家电网报;2021年
9 特约记者 王展 本报记者 张晓军;江敦涛会见万魔声学董事长谢冠宏等客人[N];淄博日报;2020年
10 本报记者 晁毓山;歌尔:专注声学科技 传递美好声音[N];中国高新技术产业导报;2008年
11 本报记者;中科院声学所青岛研发及产业化基地在高新区奠基[N];青岛日报;2012年
12 卢家兴;中科院声学所40年成就厚积薄发[N];大众科技报;2004年
13 本报记者 周昊;歌尔股份净利润腰斩 声学巨头步入尴尬期?[N];中国经营报;2019年
14 记者 黎灵希;共达电声董事长谢冠宏:吸并万魔是百分之百的上下游整合[N];上海证券报;2018年
15 本报记者 王娅莉;声学装饰需要发新声[N];中国质量报;2013年
16 本报记者 陈瑜;中科院声学所:声音“医生”给设备做B超[N];科技日报;2015年
17 北京商报记者 刘凤茹;万魔声学上演另类借壳[N];北京商报;2018年
18 周怀龙;我国6000米自主声学深拖设备下水作业[N];中国海洋报;2013年
19 本报记者 李大庆;装满温情的“坛子”[N];科技日报;2003年
20 本报评论员;警惕“注意力”政绩观[N];甘肃日报;2017年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978