收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于模型梯度信息的深度网络压缩方法研究

王珏  
【摘要】:现如今,卷积神经网络在图像分类、语义分割、目标检测等计算机视觉的各个领域中掀起了研究热潮,而且取得了重大成功。随着卷积神经网络的研究发展,模型的参数规模越来越膨胀,它的计算代价也越来越大。因此,过参数化的深度模型难以在硬件资源受限的环境(比如嵌入式传感器、无人机、移动设备、自动化机器人等)中实际部署工作。研究人员提出了网络剪枝技术来减少模型的参数量和计算量,能够对深度网络进行压缩和加速。针对深度卷积神经网络的剪枝问题,本文提出两种利用梯度信息与参数信息的结构化剪枝算法。本文的主要工作与贡献如下:1.针对卷积神经网络的模型压缩问题,本文提出一种基于梯度追踪的结构化剪枝方法,将梯度追踪的稀疏优化算法的原理推广到卷积神经网络。在以往的工作中,一些结构化剪枝方法仅仅关注神经网络的参数信息,需要将参数权值小的滤波器剪去。然而,即使一些滤波器参数权值很小,但其参数变化对神经网络结果会产生较大的影响。为此,基于梯度追踪的结构化剪枝方法考虑参数信息和梯度信息,希望能有效地剪除卷积神经网络的冗余参数。该剪枝方法首先在优化步骤中选择梯度最大的滤波器,将其索引与参数幅值最大的滤波器索引合并,形成一个并集。其后,根据上述并集更新模型参数。然后,使用一种动态的滤波器选择方法,将范数值较小的滤波器权重置零。在迭代结束后,该方法可以获得剪枝后的神经网络。本文实验证明了该剪枝方法的有效性。例如,在CIFAR-10数据集上对ResNet-56的剪枝实验中,在FLOPs减少量同样为52.63%的情况下,剪枝后网络的准确率仅仅下降了0.04%,而且不需要微调步骤。最后结论是,基于梯度追踪的结构化剪枝方法能够在保持网络精度的同时,更好地压缩深度卷积神经网络。2.上述工作使用梯度的范数来测量神经网络的梯度信息。而本文质疑了基于范数的剪枝准则,利用梯度的余弦相似度作为评估滤波器重要性的准则。对此,本文提出基于梯度相似度的结构化剪枝方法。具体地来说,对于预训练网络,本文计算梯度的余弦相似度来评估滤波器的重要性。然后,裁剪那些被评估为不重要的滤波器,最后微调剪枝后的神经网络。另外,针对卷积神经网络的结构化剪枝问题,本文建议将基于梯度相似度的结构化剪枝方法与参数范数准则相结合,提出了混合剪枝方法。混合剪枝方法除了利用参数信息和梯度信息以外,还考虑了相似度信息。在CIFAR-10数据集上对于ResNet-56的实验中,当FLOPs下降了52.63%时,上述混合剪枝方法的精度提高了0.35%。这验证了使用本文剪枝方法能够提升网络的性能。


知网文化
【相似文献】
中国期刊全文数据库 前18条
1 排新颖;王子亭;;带有梯度信息的遗传算法在求解非线性方程组中的应用[J];中国石油大学学报(自然科学版);2009年03期
2 谢伟;周玉钦;游敏;;融合梯度信息的改进引导滤波[J];中国图象图形学报;2016年09期
3 王云峰;费建芳;袁炳;韩月琪;;消除系统性观测误差的时空梯度信息同化方法研究[J];大气科学;2013年01期
4 周晓剑;马义中;朱嘉钢;;基于梯度信息的支持向量回归机[J];系统工程;2010年03期
5 刘世界;李春来;徐睿;唐国良;徐艳;吴兵;王建宇;;基于一阶梯度信息的光谱相似度评价方法[J];光谱学与光谱分析;2021年03期
6 梁敏瑜;孙权森;;基于边缘梯度信息的图像质量评价方法[J];计算机科学与探索;2012年11期
7 钟波;王云峰;马刚;马新园;;基于卫星资料梯度信息的新型变分同化方法对于台风数值模拟的研究[J];大气科学;2018年01期
8 田沄;周明全;段福庆;武仲科;;结合统计和梯度信息的高效活动轮廓模型(英文)[J];中国图象图形学报;2011年08期
9 魏玺章,黎湘,庄钊文;一种新的基于梯度信息的自适应平滑算法研究[J];系统工程与电子技术;2003年12期
10 白建超;伍秋菊;余莎;张雪;;一种基于梯度信息的空间自适应高斯滤波[J];科技展望;2016年35期
11 张少敏;支力佳;赵大哲;赵宏;;融合梯度信息的最小生成树医学图像配准[J];东北大学学报(自然科学版);2010年10期
12 杨婕;张鹏程;张丽媛;桂志国;;一种基于梯度信息的直接子野优化算法[J];生物医学工程学杂志;2018年03期
13 何静;赵凤群;晁永国;韩舒然;;基于梯度信息的快速自适应图像修补方法[J];计算机系统应用;2009年03期
14 张昊;;基于圆域梯度信息耦合角度相似法则的图像匹配算法[J];井冈山大学学报(自然科学版);2018年05期
15 陈育群;陈颖频;林凡;王灵芝;;基于高阶交叠组稀疏正则项的图像恢复方法[J];科学技术与工程;2020年33期
16 赫罡;张玉琢;吴永宏;张绍武;;基于图像边缘梯度信息的图像匹配算法[J];弹箭与制导学报;2004年S7期
17 周辉林;欧阳韬;刘健;;基于随机平均梯度下降和对比源反演的非线性逆散射算法研究[J];电子与信息学报;2020年08期
18 刘志明;戴明;陈黎;李清军;王德江;;基于自动检焦信号梯度信息的自适应平滑算法研究[J];计算机测量与控制;2009年05期
中国重要会议论文全文数据库 前20条
1 崔继文;谭久彬;;基于梯度信息的随机Hough变换圆轮廓测量技术[A];2006年全国光电技术学术交流会会议文集(D 光电信息处理技术专题)[C];2006年
2 张星;关悦;党鑫鑫;吴建生;;基于遗传算法-长短期记忆神经网络的月降水量预测研究[A];2021年(第七届)全国大学生统计建模大赛获奖论文集(二)[C];2021年
3 徐兴;赵倩婷;王苏宁;余绍康;;基于神经网络的自适应飞机防滑刹车控制器[A];第十八届中国航空测控技术年会论文集[C];2021年
4 罗朝林;陈武奋;张波;梁啟斌;;基于小波优化神经网络在大坝变形预测的应用[A];水库大坝和水电站建设与运行管理新进展[C];2022年
5 李强;张悦娇;;神经网络的自适应有限时间容错同步控制[A];“两化”教学模式在应用型大学人才培养中的探究和实践专题论文集[C];2021年
6 蒋子超;江俊扬;姚清河;杨耿超;;基于神经网络的差分方程快速求解方法[A];第十一届全国流体力学学术会议论文摘要集[C];2020年
7 耿传玉;王泽宇;周晓君;阳春华;;基于U-net卷积神经网络双层参数优化的心脏图像分割[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
8 段滈杉;乔俊飞;蒙西;汤健;;基于模块化神经网络的城市固废焚烧过程氮氧化物软测量[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
9 李淋雨;邱寅祺;何星;;基于LSTM的火电厂入口硝浓度预测方法研究[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
10 韩红桂;甄琪;杜永萍;乔俊飞;;基于低秩双线性卷积神经网络的手机型号识别方法[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
11 潘岚川;马乐乐;刘向杰;;基于卷积神经网络的一次风机故障预警研究[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
12 马昕鹏;李艳坤;庞佳烽;;人工神经网络预测血清中血红蛋白含量[A];2019中国化学会第十五届全国计算(机)化学学术会议论文集[C];2019年
13 康忠健;罗霖;;基于长短期记忆网络的配电网线损预测方法研究[A];第三十九届中国控制会议论文集(7)[C];2020年
14 闫岱峻;刘伟;于圣炜;赵旭;;基于神经网络的散货船阻力预报方法研究[A];第三十一届全国水动力学研讨会论文集(上册)[C];2020年
15 郝立柱;韩阳;潘子英;;循环神经网络方法预报船舶操纵运动研究[A];第三十一届全国水动力学研讨会论文集(下册)[C];2020年
16 徐硕;;集合经验模态分解的多路-多级神经网络风功率预测模型[A];用电与能效专题讲座暨智能用电及能效管理技术研讨会论文集[C];2019年
17 刘晶;黄进;赵万国;周丽萍;;一种基于卷积神经网络的非法经营线索挖掘模型[A];2020互联网安全与治理论坛论文集[C];2020年
18 包俊;董亚超;刘宏哲;;卷积神经网络的发展综述[A];中国计算机用户协会网络应用分会2020年第二十四届网络新技术与应用年会论文集[C];2020年
19 刘克楠;侯剑;;基于神经网络的唤醒词识别方法[A];中国计算机用户协会网络应用分会2020年第二十四届网络新技术与应用年会论文集[C];2020年
20 华阳;孟晓;秦智勇;;深度卷积神经网络压缩方法研究[A];中国航天电子技术研究院科学技术委员会2020年学术年会优秀论文集[C];2020年
中国博士学位论文全文数据库 前20条
1 纪厚业;异质图神经网络关键技术研究[D];北京邮电大学;2021年
2 姚卫;时滞忆阻神经网络的同步与多稳定性研究[D];湖南大学;2020年
3 肖理业;基于机器学习的电磁场建模与设计研究[D];电子科技大学;2019年
4 陈涵瀛;核电站热工水力系统工况预测与诊断方法研究[D];哈尔滨工程大学;2018年
5 梁智杰;聋哑人手语识别关键技术研究[D];华中师范大学;2019年
6 刘昂;微结构硅基光子学器件性能的研究[D];南京大学;2019年
7 赵博雅;基于卷积神经网络的硬件加速器设计及实现研究[D];哈尔滨工业大学;2018年
8 杜昌顺;面向细分领域的舆情情感分析关键技术研究[D];北京交通大学;2019年
9 陈科海;机器翻译上下文表示方法研究[D];哈尔滨工业大学;2019年
10 饶红霞;信息受限下神经网络的状态估计和拟同步研究[D];广东工业大学;2019年
11 张马路;Spiking机器学习算法研究[D];电子科技大学;2019年
12 付钱华;忆阻神经网络的动力学研究[D];电子科技大学;2019年
13 毛瑞琛;深度神经网络下的规范化地址建设与语义空间模型研究[D];浙江大学;2019年
14 武晨;DFP航天器动力学特性分析及精确控制方法研究[D];哈尔滨工业大学;2018年
15 杨旭辉;基于神经网络的C-ADS InjectorⅡ束流偏移校准技术研究[D];兰州大学;2019年
16 樊英杰;时滞忆阻神经网络的镇定及同步控制研究[D];山东科技大学;2019年
17 冉令燕;基于卷积神经网络的图像分类研究[D];西北工业大学;2018年
18 于佳;语音文档的故事分割技术研究[D];西北工业大学;2018年
19 申晨;基于卷积神经网络的行人再识别算法研究[D];浙江大学;2018年
20 田树耀;基于多尺度变分算法及深度卷积神经网络的图像压缩感知重建[D];燕山大学;2019年
中国硕士学位论文全文数据库 前20条
1 王珏;基于模型梯度信息的深度网络压缩方法研究[D];南京信息工程大学;2021年
2 魏江涛;忆阻神经网络在有源电力滤波器中的应用[D];太原科技大学;2015年
3 陈艺;基于知识神经网络的微波器件设计研究[D];江苏科技大学;2017年
4 李放;卷积神经网络的压缩与加速在遥感图像分类上的应用[D];江西理工大学;2020年
5 徐亦农;基于剪枝的卷积神经网络压缩方法研究[D];重庆邮电大学;2020年
6 陈颖;深度神经网络可解释压缩算法的研究[D];内蒙古大学;2021年
7 于博;基于梯度信息的图像亚采样与超分辨率重建[D];电子科技大学;2012年
8 李玲燕;基于优化神经网络的上市公司财务危机预警研究[D];上海工程技术大学;2017年
9 陈柯;基于机器视觉技术的动态行人监测系统研究[D];上海工程技术大学;2016年
10 张宸鹏;回复式神经网络若干关键问题研究[D];电子科技大学;2021年
11 阙禄颖;基于轻量级神经网络的行人检测技术研究[D];电子科技大学;2021年
12 田野;多精度神经网络加速阵列研究[D];电子科技大学;2021年
13 谢仁义;饱和脉冲Cohen-Grossberg神经网络稳定性分析[D];西南大学;2020年
14 侯洁;多权重耦合神经网络的反同步与有限时间反同步[D];天津工业大学;2019年
15 樊志文;基于深度卷积神经网络的CS-MRI重建方法研究[D];厦门大学;2019年
16 冯冰;基于深度学习的环境声音分类研究[D];厦门大学;2017年
17 柴志忠;基于深度卷积神经网络的病理影像研究[D];厦门大学;2019年
18 刘晓瑜;基于卷积神经网络的新鲜-冷冻猪肉近红外光谱检测研究[D];湖南大学;2019年
19 向鹏程;基于智能算法的自动化霜控制研究[D];天津商业大学;2019年
20 刘光云;基于多特征卷积神经网络的高光谱图像分类方法研究[D];湖南大学;2019年
中国重要报纸全文数据库 前20条
1 记者 张梦然;神经网络打开理解电子相互作用新窗口[N];科技日报;2021年
2 记者 董映璧;神经网络技术检测玻璃钢缺陷精度高[N];科技日报;2020年
3 湖北日报全媒记者 张爱虎 通讯员 徐向军 实习生 于蓝;一群“90后”率先建成铁路“神经网络”[N];湖北日报;2019年
4 记者 刘霞;忆阻器制成神经网络更高效[N];科技日报;2017年
5 整理 本报记者 诸玲珍 顾鸿儒;微软神经网络切割法可使加速作用超线性[N];中国电子报;2018年
6 ;神经网络小史[N];电子报;2018年
7 ;人工智能将取得大面积突破[N];中国企业报;2017年
8 本报记者 龚丹韵;人机大战:人类还有优势吗[N];解放日报;2017年
9 ;人类正迎来云端机器人时代[N];中国企业报;2017年
10 记者 邱智丽;AI竞赛 中国力量崛起[N];第一财经日报;2017年
11 记者 刘霞;新神经网络使计算机像人一样推理[N];科技日报;2017年
12 本报记者 喻思娈;人工智能有多智能?[N];人民日报;2017年
13 记者 王雪青;构建机器世界神经网络 东土科技“抄底”人工智能[N];上海证券报;2017年
14 ;人工智能到底有多智能?[N];长白山日报;2017年
15 本报记者 刘霞;美用DNA制造出首个人造神经网络[N];科技日报;2011年
16 记者 冯海波 通讯员 华轩;构建叠层宽度神经网络成深度模型[N];广东科技报;2021年
17 记者 毛黎;神经网络技术帮自主驾驶汽车识别幻影物体[N];科技日报;2020年
18 记者 孙刚;“神经网络”:打开复杂工艺“黑箱”[N];解放日报;2007年
19 本报首席记者 任荃 实习生 史博臻;轨交“神经网络”触动创新神经[N];文汇报;2011年
20 记者 张梦然;神经网络完成芯片设计仅需几小时[N];科技日报;2021年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978