收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

深度神经网络的加速与压缩及评价方法研究

陈阵  
【摘要】:近年来,深度神经网络在众多人工智能问题上展现了优异的性能。与此同时,物联网、边缘计算等领域的研究也逐步走向应用。深度学习与物联网、边缘计算等领域的结合将极大地提高社会生产力。但以深度神经网络为载体的深度学习技术对硬件资源提出了很高的要求,在现有的资源受限设备上难以部署。为了深度学习应用的普及,对深度神经网络进行加速和压缩,降低其对资源和时间的消耗,已成为非常重要的研究课题。因此,本文在低秩近似与通道剪枝方法的基础上,围绕深度神经网络的加速、压缩与评价方法进行研究并完成以下工作:首先,本文提出了通道剪枝过程的数学模型。该数学模型指出滤波器的大小是限制通道剪枝的瓶颈,并且缩小滤波器尺寸能够改善通道剪枝的性能。由此本文提出了“解稱-拉伸”的通道剪枝方法,先对滤波器执行“解耦-拉伸”获得滤波器较小、结构更深的网络,再执行通道剪枝。消融实验和硬件仿真实验验证了本文提出的“解耦-拉伸”方法对通道剪枝的性能有所提升。接着,本文进一步提出了结合低秩近似的通道剪枝方法,能从数学的角度更好地消除滤波器内的冗余。先针对待加速的网络进行低秩近似,获得主要的加速增益;再实施通道剪枝,获得主要的压缩增益。此外,本文又提出一种新的秩选择指标,用于更好地平衡低秩近似步骤和通道剪枝步骤。消融实验和硬件仿真实验验证了本文提出的结合低秩近似的通道剪枝方法优于单独使用的低秩近似和通道剪枝方法。最后,本文提出一种对拟合曲线积分的评价指标,能对不同加速压缩算法的效率进行较全面合理的评价。实验验证了该指标的合理性和必要性。另外,利用该指标对本文提出的两种加速压缩方法和基线算法进行比较,证实了本文加速压缩方法的性能提升。


知网文化
【相似文献】
中国期刊全文数据库 前18条
1 胡悦;;金融市场中的神经网络拐点预测法[J];金融经济;2017年18期
2 陈晓燕;;浅析简单神经网络的发展及简单模型[J];数字技术与应用;2019年05期
3 迟惠生;陈珂;;1995年世界神经网络大会述评[J];国际学术动态;1996年01期
4 吴立可;;脉冲神经网络和行为识别[J];通讯世界;2018年12期
5 林嘉应;郑柏伦;刘捷;;基于卷积神经网络的船舶分类模型[J];信息技术与信息化;2019年02期
6 俞颂华;;卷积神经网络的发展与应用综述[J];信息通信;2019年02期
7 韩真;凯文·哈特尼特;;为神经网络的通用理论建造基石[J];世界科学;2019年04期
8 鲍伟强;陈娟;熊涛;;基于进化神经网络的短期电力负荷预测研究[J];电工技术;2019年11期
9 王丽华;杨秀萍;王皓;高峥翔;;智能双轮平衡车的设计研究[J];数字技术与应用;2018年04期
10 张庭略;;基于硬件的神经网络加速[J];通讯世界;2018年08期
11 苏秀婷;;耦合神经网络的同步[J];绍兴文理学院学报(自然科学);2016年03期
12 朱溦;;神经网络结合平均影响值方法筛选变量[J];产业与科技论坛;2017年01期
13 ;硅光子神经网络亮相[J];石油工业计算机应用;2016年04期
14 任刚红;杜坤;周明;刘年东;张晋;;基于级联神经网络的年降雨量预测[J];土木建筑与环境工程;2016年S2期
15 金鑫;李龙威;季佳男;李祉歧;胡宇;赵永彬;;基于大数据和优化神经网络短期电力负荷预测[J];通信学报;2016年S1期
16 陈明;张凤荣;肖茜文;;基于灰色系统神经网络的中国低碳能源供需形势分析[J];生态经济;2017年02期
17 张国玲;;基于情感神经网络的风电功率预测[J];电信科学;2017年03期
18 梁燕华;张传斌;;基于神经网络数据融合实现火灾预警[J];科技传播;2017年04期
中国重要会议论文全文数据库 前10条
1 孙军田;张喆;;基于神经网络数据挖掘技术确定灾害等级的灭火救援出动力量模型研究[A];2016中国消防协会科学技术年会论文集[C];2016年
2 许进;保铮;;神经网络与图论[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
3 唐墨;王科俊;;自发展神经网络的混沌特性研究[A];2009年中国智能自动化会议论文集(第七分册)[南京理工大学学报(增刊)][C];2009年
4 张广远;万强;曹海源;田方涛;;基于遗传算法优化神经网络的故障诊断方法研究[A];第十二届全国设备故障诊断学术会议论文集[C];2010年
5 李涛;费树岷;;具有变时滞Cohen-Grossberg神经网络的指数稳定性准则[A];第二十六届中国控制会议论文集[C];2007年
6 汪灵枝;秦发金;;具有变时滞和脉冲的离散Cohen-Grossberg神经网络的周期解[A];中国自动化学会控制理论专业委员会D卷[C];2011年
7 韩正之;林家骏;;用神经网络求解非线性相容方程[A];1993年控制理论及其应用年会论文集[C];1993年
8 林家骏;王赞基;;求解不可微优化问题的连续极大熵神经网络[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
9 姜德宏;徐德民;任章;;基于神经网络的自校正控制器[A];1993中国控制与决策学术年会论文集[C];1993年
10 窦永丰;贝超;;模糊与神经网络结合方式及在控制中的应用[A];1997年中国控制会议论文集[C];1997年
中国博士学位论文全文数据库 前10条
1 陈冬冬;基于深度神经网络的视觉媒体风格转换方法研究[D];中国科学技术大学;2019年
2 韩旭;基于神经网络的文本特征表示关键技术研究[D];北京邮电大学;2019年
3 杨国花;基于级联神经网络的对话状态追踪技术研究与实现[D];北京邮电大学;2019年
4 杨威;基于卷积神经网络的高效语义分割方法研究[D];中国科学院大学(中国科学院光电技术研究所);2019年
5 雷学文;基于深度神经网络的风功率日前预测与电力系统联合调度研究[D];西安理工大学;2018年
6 陈川;忆阻神经网络的同步控制及在信息安全中的应用研究[D];北京邮电大学;2019年
7 姜春晖;深度神经网络剪枝方法研究[D];中国科学技术大学;2019年
8 昌杰;基于深度神经网络的肿瘤图像分析与处理[D];中国科学技术大学;2019年
9 宫磊;可重构平台上面向卷积神经网络的异构多核加速方法研究[D];中国科学技术大学;2019年
10 丁鹏;基于深度卷积神经网络的光学遥感目标检测技术研究[D];中国科学院大学(中国科学院长春光学精密机械与物理研究所);2019年
中国硕士学位论文全文数据库 前10条
1 权峻;太阳能温室建模及智能控制策略研究[D];天津理工大学;2019年
2 钟文雅;基于深度卷积神经网络的乳腺X线图像的分类方法研究[D];南阳师范学院;2019年
3 薛花;基于聚类与神经网络的协同过滤推荐系统关键技术的研究[D];天津理工大学;2019年
4 张璐;基于深度学习的淋巴结自动分割算法研究[D];浙江大学;2019年
5 郭盼盼;基于GA-BP神经网络的多日股票价格预测[D];郑州大学;2019年
6 王旭东;基于光散射的磷矿磨矿粒度分析方法研究[D];武汉工程大学;2018年
7 熊雨点;基于深度学习的表单识别系统的研究与实现[D];武汉工程大学;2018年
8 聂若莹;基于AMDAR数据的对流云附近颠簸区预测方法研究[D];中国民用航空飞行学院;2019年
9 李高玲;基于神经网络的算法作曲与情感识别研究[D];郑州大学;2019年
10 路高飞;基于遗传算法改进BP神经网络的信用风险研究[D];郑州大学;2019年
中国重要报纸全文数据库 前10条
1 张允硕 姜正义 甄海锋 河南理工大学;基于神经网络的自适应PID控制的智能衣架[N];科学导报;2019年
2 记者 刘霞;忆阻器制成神经网络更高效[N];科技日报;2017年
3 整理 本报记者 诸玲珍 顾鸿儒;微软神经网络切割法可使加速作用超线性[N];中国电子报;2018年
4 ;神经网络小史[N];电子报;2018年
5 张敏;人机大战,到底谁会赢?[N];北京日报;2017年
6 ;人工智能将取得大面积突破[N];中国企业报;2017年
7 本报记者 龚丹韵;人机大战:人类还有优势吗[N];解放日报;2017年
8 ;人类正迎来云端机器人时代[N];中国企业报;2017年
9 张斌;谁还需要“同传”[N];文汇报;2017年
10 邓洲 中国社会科学院工业经济研究所;深度学习:人工智能进入应用阶段[N];上海证券报;2017年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978