收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Roofline性能模型的深度神经网络推理优化

张泽桐  
【摘要】:近年来,深度神经网络已取得了巨大的成功,已广泛应用于自动驾驶、语音识别、面部识别、目标检测和语义分割等领域。由于图形处理器(Graphics Processing Unit,GPU)在计算能力、内存带宽和能效方面均具有明显优势,所以使用GPU成为加速深度神经网络训练和推理的重要手段。随着深度神经网络的发展,深度神经网络对内存资源有了更高要求的同时也使得训练和推理变得更加耗时。在训练阶段,可以使用大规模集群进行训练,一般不需要考虑实时性和计算资源的限制。而在实际应用中更多的是将训练好的神经网络模型用于推理。在许多场景下,可使用的GPU没有强大的算力以及内存资源保证神经网络模型推理的内存需求以及实时性。所以,在计算设备内存资源不足以支持神经网络推理或对推理延迟要求严格的应用场景下,如何在保证模型精确度的同时对神经网络的复杂度以及推理时延进行约减成为研究热点。同时神经网络在GPU上运行时,内核配置参数的选取也成为影响神经网络推理性能的重要因素。如何高效的获得合适的配置参数,使深度神经网络在推理阶段以最佳的配置参数运行,达到最优的性能成为感兴趣的方向。本文将从这两个方面入手,结合Roofline性能模型作为指导,解决深度神经网络在GPU上推理所面临的内存要求较高以及推理时延较大的问题。针对以上问题,本文完成的主要内容如下:(1)提出一种基于遗传算法的模型剪枝算法。从模型剪枝问题的抽象、算法设计、算法实现等方面,详细介绍了一种基于遗传算法的卷积神经网络模型剪枝算法;最后,介绍模型的实现细节,参数配置以及在不同数据集下经典神经网络模型的性能表现,并与此前相关领域的工作进行对比分析。以VGG16在CIFAR-10数据集上的表现为例,本文的算法将模型的准确度提升了0.17%的同时,修剪了73.05%的计算量以及91.06%的参数,推理时间缩短了35.2%。(2)提出一种基于贝叶斯优化算法的GPU参数自调优框架(GPU parameter Auto-tuning Framework based on Bayesian optimization algorithm,GAFB)。对影响GPU程序性能的因素进行参数化,并结合贝叶斯优化算法来搜索最佳配置参数。贝叶斯优化将每个样本的时间作为先验指导下一次采样,可以通过较少的采样下获得优秀的配置参数。本文使用四种图像处理的经典算子对GAFB进行测试,并与其他优化算法对比,证明GAFB可以以更少的采样获得满意的结果。最后,使用AlexNet的卷积层对GAFB进行了测试,与原始参数配置相比,AlexNet的推理速度提高了50.09%。


知网文化
【相似文献】
中国期刊全文数据库 前15条
1 王震洲;聂亚宁;于平平;;基于神经网络的多城市协同能见度预测研究[J];电子测量与仪器学报;2019年11期
2 李青华;李翠平;张静;陈红;王绍卿;;深度神经网络压缩综述[J];计算机科学;2019年09期
3 曹爱清;吴淼;;基于长短期记忆神经网络的每日股票价格预测[J];信息与电脑(理论版);2022年01期
4 杨丁;董宝力;陈依玲;;改进深度神经网络的产品制造周期预测[J];软件导刊;2022年02期
5 马猛;王明红;;基于进化神经网络的304不锈钢车削加工表面粗糙度预测[J];轻工机械;2019年06期
6 李杰;孙仁诚;;几种典型卷积神经网络的权重分析与研究[J];青岛大学学报(自然科学版);2019年04期
7 陆俊天;孙玲;施佺;;基于门控循环单元神经网络的公交到站时间预测[J];南通大学学报(自然科学版);2020年02期
8 郭钦鹏;杨仕教;朱忠华;相志斌;张紫晗;胡光球;;运用GA-BP神经网络对爆破振动速度预测[J];爆破;2020年03期
9 阿卜杜杰力力·阿卜杜热合曼;蒋海军;滕志东;;具有混合变时滞的脉冲Cohen-Grossberg神经网络的指数同步[J];数学物理学报;2015年03期
10 宋嘎;王兆辉;;基于神经网络的注塑模成本估算方法的研究[J];电加工与模具;2007年05期
11 黄敏超,张育林,冯心;变结构神经网络及其应用[J];控制与决策;1994年03期
12 焦李成 ;孙其功 ;杨育婷 ;冯雨歆 ;李秀芳 ;;深度神经网络FPGA设计进展、实现与展望[J];计算机学报;2022年03期
13 蒋薇;刘芸芸;陈鹏;张志薇;;利用深度神经网络和先兆信号的江苏夏季降水客观预测方法[J];气象学报;2021年06期
14 宋存洋;李欣;;自动化构建移动端神经网络的技术研究[J];电子技术应用;2020年12期
15 蒋子超;江俊扬;姚清河;杨耿超;;基于神经网络的差分方程快速求解方法[J];力学学报;2021年07期
中国重要会议论文全文数据库 前20条
1 汪灵枝;秦发金;;具有变时滞和脉冲的离散Cohen-Grossberg神经网络的周期解[A];中国自动化学会控制理论专业委员会D卷[C];2011年
2 张素花;展永;安海龙;张振东;韩英荣;赵同军;卓益忠;;电突触耦合FitzHugh-Nagumo神经网络的同步振荡[A];全国复杂系统研究论坛论文集(二)[C];2005年
3 李涛;费树岷;;具有变时滞Cohen-Grossberg神经网络的指数稳定性准则[A];第二十六届中国控制会议论文集[C];2007年
4 周树德;王岩;孙增圻;孙富春;;量子神经网络[A];2003年中国智能自动化会议论文集(上册)[C];2003年
5 李涛;刘朋;胡志宽;田宏业;;基于HHT时频图像和卷积神经网络的滚动轴承故障诊断[A];第十八届船舶水下噪声学术讨论会论文集[C];2021年
6 高宇航;张超;李兵;商德江;王一宇;;基于LM-BP神经网络的水下结构振动噪声预报[A];第十八届船舶水下噪声学术讨论会论文集[C];2021年
7 闫磊;;基于GA-RBF神经网络的瓦斯含量预测方法研究[A];瓦斯地质与瓦斯治理(2020-2021)——中国煤炭学会瓦斯地质学术年会论文集[C];2021年
8 刘宝;张言新;;基于生物调节机制的神经网络预估解耦控制算法研究及应用[A];第32届中国过程控制会议(CPCC2021)论文集[C];2021年
9 逯峰;彭继国;张波;;循环神经网络在煤矿中的应用[A];煤矿自动化与信息化--第29届全国煤矿自动化与信息化学术会议暨第10届中国煤矿信息化与自动化高层论坛论文集[C];2020年
10 李强;张悦娇;;神经网络的自适应有限时间容错同步控制[A];“两化”教学模式在应用型大学人才培养中的探究和实践专题论文集[C];2021年
11 罗朝林;陈武奋;张波;梁啟斌;;基于小波优化神经网络在大坝变形预测的应用[A];水库大坝和水电站建设与运行管理新进展[C];2022年
12 张星;关悦;党鑫鑫;胡波;;基于遗传算法-长短期记忆神经网络的月降水量预测研究[A];2021年(第七届)全国大学生统计建模大赛获奖论文集(二)[C];2021年
13 张玺森;宋浏阳;郭旭东;王华庆;;基于域融合健康指标和时间卷积神经网络的轴承退化趋势预测方法[A];第十四届全国振动理论及应用学术会议(NVTA2021)摘要集[C];2021年
14 张俊豪;赵晋锋;刘力源;;基于卷积神经网络的探地雷达隧道衬砌检测[A];2021年工业建筑学术交流会论文集[C];2021年
15 徐兴;赵倩婷;王苏宁;余绍康;;基于神经网络的自适应飞机防滑刹车控制器[A];第十八届中国航空测控技术年会论文集[C];2021年
16 宋尚焕;朱伟;;基于卷积神经网络的水声目标杂波分类[A];2021年浙黑苏鲁沪渝四省二市声学技术学术会议论文集[C];2021年
17 刘华玲;何轶辉;;LSTM的季节性修正及在股票指数预测中的应用[A];第十六届(2021)中国管理学年会论文集[C];2021年
18 赵勇;任山山;Jürgen Kurths;;不同尺度耦合竞争忆阻BAM神经网络的同步[A];第十八届全国非线性振动暨第十五届全国非线性动力学和运动稳定性学术会议(NVND2021)摘要集[C];2021年
19 宋赫男;单小彪;王广炎;樊继壮;;基于NARX神经网络的悬臂结构识别与振动主动控制研究[A];第十八届全国非线性振动暨第十五届全国非线性动力学和运动稳定性学术会议(NVND2021)摘要集[C];2021年
20 赵猛;马新娜;祁琳;;基于卷积脉冲神经网络的滚动轴承故障诊断方法研究[A];第十八届全国非线性振动暨第十五届全国非线性动力学和运动稳定性学术会议(NVND2021)摘要集[C];2021年
中国博士学位论文全文数据库 前20条
1 李洋;小波过程神经网络相关理论及其应用研究[D];哈尔滨工业大学;2008年
2 姚卫;时滞忆阻神经网络的同步与多稳定性研究[D];湖南大学;2020年
3 诸勇;正交回归神经网络及其在控制系统中的应用[D];浙江大学;1998年
4 刘宜承;模糊忆阻神经网络的同步性研究[D];西南大学;2021年
5 纪厚业;异质图神经网络关键技术研究[D];北京邮电大学;2021年
6 赵俊红;神经网络的正则化及在地质预测中的应用研究[D];大连理工大学;2020年
7 罗骜;基于图神经网络的场景理解算法研究[D];电子科技大学;2020年
8 肖理业;基于机器学习的电磁场建模与设计研究[D];电子科技大学;2019年
9 陈涵瀛;核电站热工水力系统工况预测与诊断方法研究[D];哈尔滨工程大学;2018年
10 梁智杰;聋哑人手语识别关键技术研究[D];华中师范大学;2019年
11 刘昂;微结构硅基光子学器件性能的研究[D];南京大学;2019年
12 赵博雅;基于卷积神经网络的硬件加速器设计及实现研究[D];哈尔滨工业大学;2018年
13 杜昌顺;面向细分领域的舆情情感分析关键技术研究[D];北京交通大学;2019年
14 陈科海;机器翻译上下文表示方法研究[D];哈尔滨工业大学;2019年
15 饶红霞;信息受限下神经网络的状态估计和拟同步研究[D];广东工业大学;2019年
16 张马路;Spiking机器学习算法研究[D];电子科技大学;2019年
17 付钱华;忆阻神经网络的动力学研究[D];电子科技大学;2019年
18 毛瑞琛;深度神经网络下的规范化地址建设与语义空间模型研究[D];浙江大学;2019年
19 武晨;DFP航天器动力学特性分析及精确控制方法研究[D];哈尔滨工业大学;2018年
20 杨旭辉;基于神经网络的C-ADS InjectorⅡ束流偏移校准技术研究[D];兰州大学;2019年
中国硕士学位论文全文数据库 前20条
1 张泽桐;基于Roofline性能模型的深度神经网络推理优化[D];西安电子科技大学;2021年
2 王月欢;深度神经网络的鲁棒性快速预测及其应用[D];南京大学;2021年
3 李永礼;基于脉冲神经网络的视觉图像分类方法研究[D];北京化工大学;2019年
4 田野;多精度神经网络加速阵列研究[D];电子科技大学;2021年
5 谢仁义;饱和脉冲Cohen-Grossberg神经网络稳定性分析[D];西南大学;2020年
6 侯洁;多权重耦合神经网络的反同步与有限时间反同步[D];天津工业大学;2019年
7 李志杰;基于神经网络的上证指数预测研究[D];华南理工大学;2015年
8 郑晓妍;神经网络结构化设计与研究[D];北京化工大学;2011年
9 刘旭彬;基于神经网络方法的期权定价应用研究[D];暨南大学;2011年
10 闫明;基于FPGA的神经网络硬件实现[D];中国海洋大学;2008年
11 陈毅;基于多种神经网络的股价预测研究[D];贵州财经大学;2021年
12 王卿;量子神经网络的研究及其在气象预测中的应用[D];西安电子科技大学;2013年
13 贾光峰;基于多表达式编程的神经网络自动优化方法及其应用研究[D];济南大学;2009年
14 吴昌友;神经网络的研究及应用[D];东北农业大学;2007年
15 李娜;基于神经网络的灌注桩故障诊断技术[D];河北工业大学;2007年
16 王映乔;基于神经网络的汇率预测及系统设计[D];西南财经大学;2007年
17 李玲燕;基于优化神经网络的上市公司财务危机预警研究[D];上海工程技术大学;2017年
18 陈柯;基于机器视觉技术的动态行人监测系统研究[D];上海工程技术大学;2016年
19 何洪坤;真空冷冻干燥技术的智能控制研究[D];上海工程技术大学;2016年
20 阙禄颖;基于轻量级神经网络的行人检测技术研究[D];电子科技大学;2021年
中国重要报纸全文数据库 前20条
1 记者 张梦然;神经网络打开理解电子相互作用新窗口[N];科技日报;2021年
2 记者 董映璧;神经网络技术检测玻璃钢缺陷精度高[N];科技日报;2020年
3 湖北日报全媒记者 张爱虎 通讯员 徐向军 实习生 于蓝;一群“90后”率先建成铁路“神经网络”[N];湖北日报;2019年
4 记者 刘霞;忆阻器制成神经网络更高效[N];科技日报;2017年
5 整理 本报记者 诸玲珍 顾鸿儒;微软神经网络切割法可使加速作用超线性[N];中国电子报;2018年
6 ;神经网络小史[N];电子报;2018年
7 ;人工智能将取得大面积突破[N];中国企业报;2017年
8 本报记者 龚丹韵;人机大战:人类还有优势吗[N];解放日报;2017年
9 ;人类正迎来云端机器人时代[N];中国企业报;2017年
10 记者 邱智丽;AI竞赛 中国力量崛起[N];第一财经日报;2017年
11 记者 刘霞;新神经网络使计算机像人一样推理[N];科技日报;2017年
12 本报记者 喻思娈;人工智能有多智能?[N];人民日报;2017年
13 记者 王雪青;构建机器世界神经网络 东土科技“抄底”人工智能[N];上海证券报;2017年
14 ;人工智能到底有多智能?[N];长白山日报;2017年
15 本报记者 刘霞;美用DNA制造出首个人造神经网络[N];科技日报;2011年
16 记者 冯海波 通讯员 华轩;构建叠层宽度神经网络成深度模型[N];广东科技报;2021年
17 记者 毛黎;神经网络技术帮自主驾驶汽车识别幻影物体[N];科技日报;2020年
18 记者 孙刚;“神经网络”:打开复杂工艺“黑箱”[N];解放日报;2007年
19 本报首席记者 任荃 实习生 史博臻;轨交“神经网络”触动创新神经[N];文汇报;2011年
20 记者 张梦然;神经网络完成芯片设计仅需几小时[N];科技日报;2021年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978