收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

深度神经网络可解释压缩算法的研究

陈颖  
【摘要】:在过去几年里,深度学习一直是人工智能取得成功的基础,但是巨大的计算复杂度和庞大的存储需求使得它们在实时应用中部署成为一个巨大的挑战,特别是在资源有限的设备上。因此,如何利用压缩和加速技术将模型应用于实际场景中成为了一个研究热点。目前大多数的神经网络压缩方法可解释性较弱,本文选择了可解释方法沙普利值和注意力机制作为压缩依据,并基于卷积神经网络展开研究,主要完成了以下工作:首先基于卷积神经网络模型压缩的理论基础上,提出了一种为剪枝过程赋予了较强的可解释性的CNN剪枝方法,且生成的模型不需要特殊的软件或硬件加速器,可同时实现减小模型尺寸、减少运行时内存占用、减少计算操作次数和增强模型可解释性。它以大网络作为输入模型,但在训练过程中会根据沙普利值去识别和修剪不重要的通道,从而产生紧凑的模型。本文在两种常用的图像分类数据集CIFAR-10和CIFAR-100上,通过VGGNet-19、Dense Net-40和Res Net-101等多个CNN模型,证明了此方法的有效性。对于VGGNet,可解释结构化剪枝使模型尺寸减少20倍,计算操作减少5倍,识别精度仅损失了2.75%。其次提出了一种新的知识蒸馏方法来提升剪枝后模型的精度,即自注意力知识蒸馏,该方法可以使模型从自身中学习,并获得实质性的改进,而不需要任何额外的监督或标签。具体来说,从训练到合理水平的模型中提取的注意力图将对丰富的上下文信息进行编码。有价值的上下文信息可以作为一种“免费”的监督形式,通过在网络内部执行自上而下和逐层的注意力蒸馏来进行进一步的表示学习。自注意力知识蒸馏可以很容易地整合到任何前馈卷积神经网络中,并且不会增加推理时间。本文在数据集CIFAR-10和CIFAR-100上使用经过可解释结构化剪枝后的VGGNet-19、Denes Net-40和Res Net-101进行了验证,通过使用此方法,剪枝后的模型在模型大小和计算操作数减小较多的前提下,达到了与原始模型相当的精度。结果表明,自注意力知识蒸馏可以普遍改善不同网络中不同层次的注意力图。


知网文化
【相似文献】
中国期刊全文数据库 前13条
1 陆超红;;基于多通道循环卷积神经网络的文本分类方法[J];计算机应用与软件;2020年08期
2 武频;常旭婷;郎佳林;潘凯凯;龚思泉;;基于卷积神经网络和状态时间序列的参数辨识[J];空气动力学学报;2021年04期
3 黎秋宇;;基于卷积循环神经网络的不定长验证码识别[J];现代信息科技;2021年07期
4 李杰;孙仁诚;;几种典型卷积神经网络的权重分析与研究[J];青岛大学学报(自然科学版);2019年04期
5 任伟建;宋月;陈建玲;任璐;孙勤江;;基于改进的卷积神经网络的钢号识别[J];吉林大学学报(信息科学版);2018年03期
6 刘佩林;张钰玲;;基于卷积神经网络的语音识别分析[J];电脑迷;2017年01期
7 罗焱;;基于Tensorflow的验证码识别算法实现[J];信息与电脑(理论版);2020年20期
8 陈继洪;田生伟;禹龙;;切片循环神经网络和胶囊网络的性别欺凌识别[J];计算机仿真;2021年08期
9 崔秀明;崔新春;刘永林;王婧;;深度神经网络在阿尔兹海默病预测中的应用分析(英文)[J];曲阜师范大学学报(自然科学版);2020年01期
10 闵锐;;高效深度神经网络综述[J];电信科学;2020年04期
11 代耀彬;朱燕燕;黄双华;;基于卷积神经网络的群众留言分类[J];无线互联科技;2020年12期
12 于子叶;储日升;盛敏汉;马海超;;兼顾速度和精度的深度神经网络震相拾取[J];地震学报;2020年03期
13 吴碧程;邓祥恩;张子憧;唐小煜;;基于卷积神经网络的智能垃圾分类系统[J];物理实验;2019年11期
中国重要会议论文全文数据库 前20条
1 陈杉沁;白雪;刘苗;刘想平;刘彦斌;;基于BP神经网络的致密气水平井分段压裂规律研究[A];第32届全国天然气学术年会(2020)论文集[C];2020年
2 张东辉;赵英俊;赵宁博;秦凯;杨越超;;航空高光谱预测黑土地SOM含量的神经网络方法[A];第二十届全国分子光谱学学术会议暨2018年光谱年会论文集[C];2018年
3 郐士超;王文青;;基于神经网络的生命探测路径规划研究[A];2020中国消防协会科学技术年会论文集[C];2020年
4 陈嘉璇;井晓鹏;王超;;基于深度学习的村庄分类方法研究——以西安秦汉新城为例[A];面向高质量发展的空间治理——2021中国城市规划年会论文集(05城市规划新技术应用)[C];2021年
5 张思源;谢林柏;;随机权神经网络的参数融合优化方法[A];第40届中国控制会议论文集(15)[C];2021年
6 蒋子超;江俊扬;姚清河;杨耿超;;基于神经网络的差分方程快速求解方法[A];第十一届全国流体力学学术会议论文摘要集[C];2020年
7 耿传玉;王泽宇;周晓君;阳春华;;基于U-net卷积神经网络双层参数优化的心脏图像分割[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
8 段滈杉;乔俊飞;蒙西;汤健;;基于模块化神经网络的城市固废焚烧过程氮氧化物软测量[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
9 李淋雨;邱寅祺;何星;;基于LSTM的火电厂入口硝浓度预测方法研究[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
10 韩红桂;甄琪;杜永萍;乔俊飞;;基于低秩双线性卷积神经网络的手机型号识别方法[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
11 潘岚川;马乐乐;刘向杰;;基于卷积神经网络的一次风机故障预警研究[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
12 马昕鹏;李艳坤;庞佳烽;;人工神经网络预测血清中血红蛋白含量[A];2019中国化学会第十五届全国计算(机)化学学术会议论文集[C];2019年
13 康忠健;罗霖;;基于长短期记忆网络的配电网线损预测方法研究[A];第三十九届中国控制会议论文集(7)[C];2020年
14 闫岱峻;刘伟;于圣炜;赵旭;;基于神经网络的散货船阻力预报方法研究[A];第三十一届全国水动力学研讨会论文集(上册)[C];2020年
15 郝立柱;韩阳;潘子英;;循环神经网络方法预报船舶操纵运动研究[A];第三十一届全国水动力学研讨会论文集(下册)[C];2020年
16 徐硕;;集合经验模态分解的多路-多级神经网络风功率预测模型[A];用电与能效专题讲座暨智能用电及能效管理技术研讨会论文集[C];2019年
17 刘晶;黄进;赵万国;周丽萍;;一种基于卷积神经网络的非法经营线索挖掘模型[A];2020互联网安全与治理论坛论文集[C];2020年
18 包俊;董亚超;刘宏哲;;卷积神经网络的发展综述[A];中国计算机用户协会网络应用分会2020年第二十四届网络新技术与应用年会论文集[C];2020年
19 刘克楠;侯剑;;基于神经网络的唤醒词识别方法[A];中国计算机用户协会网络应用分会2020年第二十四届网络新技术与应用年会论文集[C];2020年
20 华阳;孟晓;秦智勇;;深度卷积神经网络压缩方法研究[A];中国航天电子技术研究院科学技术委员会2020年学术年会优秀论文集[C];2020年
中国博士学位论文全文数据库 前20条
1 纪厚业;异质图神经网络关键技术研究[D];北京邮电大学;2021年
2 肖理业;基于机器学习的电磁场建模与设计研究[D];电子科技大学;2019年
3 陈涵瀛;核电站热工水力系统工况预测与诊断方法研究[D];哈尔滨工程大学;2018年
4 梁智杰;聋哑人手语识别关键技术研究[D];华中师范大学;2019年
5 刘昂;微结构硅基光子学器件性能的研究[D];南京大学;2019年
6 赵博雅;基于卷积神经网络的硬件加速器设计及实现研究[D];哈尔滨工业大学;2018年
7 杜昌顺;面向细分领域的舆情情感分析关键技术研究[D];北京交通大学;2019年
8 陈科海;机器翻译上下文表示方法研究[D];哈尔滨工业大学;2019年
9 饶红霞;信息受限下神经网络的状态估计和拟同步研究[D];广东工业大学;2019年
10 张马路;Spiking机器学习算法研究[D];电子科技大学;2019年
11 付钱华;忆阻神经网络的动力学研究[D];电子科技大学;2019年
12 毛瑞琛;深度神经网络下的规范化地址建设与语义空间模型研究[D];浙江大学;2019年
13 武晨;DFP航天器动力学特性分析及精确控制方法研究[D];哈尔滨工业大学;2018年
14 杨旭辉;基于神经网络的C-ADS InjectorⅡ束流偏移校准技术研究[D];兰州大学;2019年
15 樊英杰;时滞忆阻神经网络的镇定及同步控制研究[D];山东科技大学;2019年
16 冉令燕;基于卷积神经网络的图像分类研究[D];西北工业大学;2018年
17 于佳;语音文档的故事分割技术研究[D];西北工业大学;2018年
18 申晨;基于卷积神经网络的行人再识别算法研究[D];浙江大学;2018年
19 田树耀;基于多尺度变分算法及深度卷积神经网络的图像压缩感知重建[D];燕山大学;2019年
20 孙诗昭;深度学习中深度问题与大模型问题的研究[D];南开大学;2018年
中国硕士学位论文全文数据库 前20条
1 陈颖;深度神经网络可解释压缩算法的研究[D];内蒙古大学;2021年
2 田野;多精度神经网络加速阵列研究[D];电子科技大学;2021年
3 李永礼;基于脉冲神经网络的视觉图像分类方法研究[D];北京化工大学;2019年
4 代光海;基于神经网络的运动想象脑电信号识别技术研究[D];电子科技大学;2020年
5 曹继君;基于神经网络的故障诊断研究[D];华北电力大学(北京);2020年
6 张继刚;基于神经网络编解码的远程桌面的设计与实现[D];山东大学;2020年
7 李玲燕;基于优化神经网络的上市公司财务危机预警研究[D];上海工程技术大学;2017年
8 陈柯;基于机器视觉技术的动态行人监测系统研究[D];上海工程技术大学;2016年
9 张宸鹏;回复式神经网络若干关键问题研究[D];电子科技大学;2021年
10 阙禄颖;基于轻量级神经网络的行人检测技术研究[D];电子科技大学;2021年
11 谢仁义;饱和脉冲Cohen-Grossberg神经网络稳定性分析[D];西南大学;2020年
12 张丙强;基于卷积神经网络和循环神经网络的结构损伤识别[D];广州大学;2020年
13 侯洁;多权重耦合神经网络的反同步与有限时间反同步[D];天津工业大学;2019年
14 刘楠;深度神经网络在我国股票市场价格预测中的应用研究[D];海南大学;2019年
15 樊志文;基于深度卷积神经网络的CS-MRI重建方法研究[D];厦门大学;2019年
16 冯冰;基于深度学习的环境声音分类研究[D];厦门大学;2017年
17 柴志忠;基于深度卷积神经网络的病理影像研究[D];厦门大学;2019年
18 刘晓瑜;基于卷积神经网络的新鲜-冷冻猪肉近红外光谱检测研究[D];湖南大学;2019年
19 向鹏程;基于智能算法的自动化霜控制研究[D];天津商业大学;2019年
20 刘光云;基于多特征卷积神经网络的高光谱图像分类方法研究[D];湖南大学;2019年
中国重要报纸全文数据库 前20条
1 骆无意;图神经网络让集群无人系统更智能[N];中国航天报;2020年
2 记者 董映璧;神经网络技术检测玻璃钢缺陷精度高[N];科技日报;2020年
3 彭琛;神经网络:连结数据科学和电子显微镜技术的纽带[N];中国航空报;2021年
4 张允硕 姜正义 甄海锋 河南理工大学;基于神经网络的自适应PID控制的智能衣架[N];科学导报;2019年
5 湖北日报全媒记者 张爱虎 通讯员 徐向军 实习生 于蓝;一群“90后”率先建成铁路“神经网络”[N];湖北日报;2019年
6 记者 刘霞;忆阻器制成神经网络更高效[N];科技日报;2017年
7 整理 本报记者 诸玲珍 顾鸿儒;微软神经网络切割法可使加速作用超线性[N];中国电子报;2018年
8 ;神经网络小史[N];电子报;2018年
9 张敏;人机大战,到底谁会赢?[N];北京日报;2017年
10 ;人工智能将取得大面积突破[N];中国企业报;2017年
11 本报记者 龚丹韵;人机大战:人类还有优势吗[N];解放日报;2017年
12 ;人类正迎来云端机器人时代[N];中国企业报;2017年
13 张斌;谁还需要“同传”[N];文汇报;2017年
14 邓洲 中国社会科学院工业经济研究所;深度学习:人工智能进入应用阶段[N];上海证券报;2017年
15 中国科学技术大学终身学习实验室博士 吴茂乾;“寒武纪”人工智能大爆发的前夜[N];安徽日报;2017年
16 记者 邱智丽;AI竞赛 中国力量崛起[N];第一财经日报;2017年
17 卡内基·梅隆大学计算机科学学院机器学习系主任 Tom Mitchell;突破人类和机器的边界[N];中国信息化周报;2017年
18 舒年;“深度学习”与人工智能的新挑战[N];工人日报;2017年
19 记者 刘霞;新神经网络使计算机像人一样推理[N];科技日报;2017年
20 本报记者 喻思娈;人工智能有多智能?[N];人民日报;2017年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978