收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

深度神经网络加速器软硬件协同设计方法研究

许柯  
【摘要】:深度神经网络(Deep Neural Network,DNN)在计算机视觉、自然语言处理、语音识别等领域取得了显著的成果。然而,高昂的计算和存储成本给基于DNN算法的部署,尤其是面向硬件资源有限的嵌入式设备,带来了巨大的挑战。近几年,关于神经网络压缩的研究逐渐成为学术界和工业界关注的热点方向。然而,部分压缩算法设计并没有与实际的加速器场景相结合,导致算法的理论压缩性能与实际硬件加速效果存在巨大差距。为了解决此问题,本文将模型剪枝、量化的压缩算法与基于现场可编程门阵列(Field-Programmable Gate Array,FPGA)的硬件架构设计相结合,实现了高吞吐率、低延时的DNN加速器。本文采用软硬件协同设计的方法,从硬件约束的压缩算法、算法硬件耦合优化、硬件设计适配压缩算法和系统级的目标检测加速器应用四个层次展开深入研究,主要的创新研究成果包括:(1)从硬件约束的压缩算法层面,本文以优化的遗传算法为基础,结合硬件约束对模型各层的剪枝率和量化位宽实现高效搜索。剪枝阶段,本文提出了基于模型参数量与计算量多目标优化策略,极大地缓解了因模型参数计算密度不同导致的模型剪枝结果不均衡的问题。实验表明,在Image Net数据集上,本文所提出的剪枝方案可以使Res Net50模型的计算量减少80%且没有精度损失;量化阶段,本文提出了基于小样本量化学习的快速评估方法,有效缓解了因量化损失导致的量化搜索评估与微调结果相关性差的问题并极大的提高了混合精度搜索的效率。在CIFAR-10和Image Net数据集上的实验结果表明,本文的混合精度方法优于其他的混合精度和均匀量化方法。(2)从算法硬件耦合优化层面,本文充分利用了剪枝模型的稀疏性和量化模型的数据独立性,提出了先累加后乘法的稀疏卷积(Accumulate-Before-Multiply Sparse Convolution,ABM-Sp Conv)计算方法。将传统的逐点乘累加(Multiply Accumulate,MAC)耦合卷积计算模式,通过合并同类项的方式拆解为累加与乘法操作解耦的两阶段卷积操作,然后根据模型权重的稀疏编码跳过零值计算,从理论上减少了卷积计算阶段乘法的计算次数,提高了稀疏卷积的计算效率和并行能力。(3)从硬件设计适配压缩算法层面,利用ABM-Sp Conv计算方法,本文提出了一个由“大”累加器阵列和“小”乘法器阵列组成的异构稀疏卷积计算单元,使其可以独立地执行累加和乘法两个阶段的卷积计算,以提供更大的灵活性来平衡FPGA片上逻辑和DSP(Digital Signal Processor)资源的利用。其次,本文采用异步的卷积设计,每个计算单元都有本地缓冲区和控制逻辑,可以独立执行具有不同工作负载的卷积任务,缓解了因稀疏数据的不规则性造成的计算负载不均衡的问题。最后,加速器采用全参数化的设计,利用自主开发的自动化设计空间探索引擎实现了从嵌入式平台到高性能FPGA板卡的部署。(4)从系统级的目标检测加速器应用层面,本文实现了一个基于YOLOv2的FPGA实时目标检测加速器系统。首先利用算子融合、剪枝、量化等压缩方法,实现了YOLOv2模型参数量20倍压缩,计算量7倍压缩。压缩模型在PASCAL VOC 2007数据集上保持74.45%的平均查准率均值(mean Average Precision,m AP)。然后,设计了包含最大池化在内的深度流水化稀疏硬件加速器架构。最后,借助参数空间探索将YOLOv2模型部署到Intel Arria-10 GX1150 FPGA板卡上,达到了72帧/秒的实时检测速度。


知网文化
【相似文献】
中国期刊全文数据库 前14条
1 周聖元;杜子东;陈云霁;;稀疏神经网络加速器设计[J];高技术通讯;2019年03期
2 沈阳靖;沈君成;叶俊;马琪;;基于FPGA的脉冲神经网络加速器设计[J];电子科技;2017年10期
3 郑思杰;李杰;贺光辉;;面向低延时目标检测的FPGA神经网络加速器设计[J];现代计算机;2021年18期
4 魏浚峰;王东;山丹;;基于FPGA的卷积神经网络加速器设计与实现[J];中国集成电路;2019年07期
5 ;美国学者研制出一种光学卷积神经网络加速器[J];传感器世界;2021年01期
6 肖奇;程利甫;蒋仁兴;柳宜川;王琴;;面向舰船检测的神经网络加速器设计[J];制导与引信;2020年03期
7 徐睿;马胜;郭阳;黄友;李艺煌;;基于Winograd稀疏算法的卷积神经网络加速器设计与研究[J];计算机工程与科学;2019年09期
8 周国飞;;一种支持稀疏卷积的深度神经网络加速器的设计[J];电子技术与软件工程;2020年04期
9 翟社平;邱程;杨媛媛;李婧;江婷婷;;基于FPGA的卷积神经网络加速器设计与实现[J];微电子学与计算机;2019年08期
10 曾成龙;刘强;;面向嵌入式FPGA的高性能卷积神经网络加速器设计[J];计算机辅助设计与图形学学报;2019年09期
11 Benny Har-Even;;PowerVR 2NX NNA引领神经网络加速器的未来[J];中国集成电路;2017年12期
12 窦阳;卿粼波;何小海;廖海鹏;;基于FPGA的CNN加速器设计与实现[J];信息技术与网络安全;2019年11期
13 张坤宁;赵烁;孙庆斌;邓宁;何虎;;基于FPGA的多核可扩展卷积加速器设计[J];计算机工程与设计;2021年06期
14 ;PowerVR Series2NX神经网络加速器内核为性能和成本效益树立标准[J];电子测量技术;2018年12期
中国重要会议论文全文数据库 前20条
1 秦智勇;于立新;彭和平;庄伟;杨雪;孟晓;;航天神经网络加速器关键技术与挑战[A];第六届航天电子战略研究论坛论文集(2019年第01期 总第65期 2019年03月季刊)[C];2019年
2 李敬德;李宗超;曹鸣坤;;应用于加速器S波段2.6MW脉冲磁控管国产化[A];第八届全国医用加速器学术交流会论文集[C];2009年
3 马宗国;张中元;;FPGA技术在加速器中的应用[A];第八届全国医用加速器学术交流会论文集[C];2009年
4 徐靓;;企业加速器的功能设置与空间布局研究[A];‘城乡治理与规划改革——2014中国城市规划年会论文集(13 区域规划与城市经济)[C];2014年
5 李军;;西门子加速器机械系统故障维修[A];中华医学会医学工程学分会第七次学术年会论文集[C];2004年
6 郑曙昕;唐传祥;林郁正;陈怀璧;童德春;施嘉儒;徐刚;刘耀红;刘晋升;何宇;管伟强;李国华;;大功率辐照加速器的研制[A];第三届全国粒子加速器技术学术交流会论文集[C];2007年
7 柏伟;;C波段加速器装置研制[A];中国工程物理研究院科技年报(2014年版)[C];2014年
8 曹养书;;我国辐照加速器现状及其应用前景探析[A];粒子加速器学会第七届全国会员代表大会暨学术报告会文集[C];2004年
9 王权;杨海峰;李雪玲;;基于总线的加速器分布式控制[A];第七届全国医用加速器学术交流会论文集[C];2006年
10 何明;庞义俊;姜山;;加速器质谱技术及其在环境科学中的应用[A];2016年中国环境与安全监测技术研讨会—第27届MICONEX2016科学仪器惠及民生系列分会场论文集[C];2016年
11 徐寿平;戴相昆;鞠忠建;解传滨;巩汉顺;葛瑞刚;王运来;王连元;;螺旋断层加速器原理及设计特点[A];第八届全国医用加速器学术交流会论文集[C];2009年
12 李洪资;王景尧;;上海产10兆加速器维修几例[A];中华医学会医学工程学分会第二次医学影像设备应用技术研讨会论文集[C];2001年
13 卢亮;Toshiyuki Hattori;赵环昱;孙亮亭;何源;赵红卫;;混合腔型加速器的最新进展[A];中国核科学技术进展报告(第四卷)——中国核学会2015年学术年会论文集第7册(计算物理分卷、核物理分卷、粒子加速器分卷、核聚变与等离子体物理分卷、脉冲功率技术及其应用分卷、辐射物理分卷)[C];2015年
14 禹海军;周维军;吴廷列;朱隽;王荣波;陈楠;戴文华;;直感加速器中转换靶的破坏诊断[A];第十届中国核靶技术学术交流会摘要集[C];2009年
15 何明;姜山;董克君;仇九子;彭博;管永精;寅新艺;武绍勇;李世红;周舵;;中国原子能科学研究院加速器质谱工作进展[A];2005年全国无机质谱、同位素质谱和质谱仪器学术报告会论文集[C];2005年
16 王如芹;;加速器光野灯工作原理及故障处理[A];第七届全国医用加速器学术交流会论文集[C];2006年
17 付德君;郭立平;刘传胜;任峰;蒋昌忠;叶明生;彭友贵;范湘军;;加速器-电镜联机项目进展[A];第十一届全国活化分析学术会议论文摘要汇编[C];2006年
18 唐靖宇;;圆形加速器的注入和引出技术[A];第三届全国加速器技术学术交流会论文摘要集[C];2007年
19 ;分论坛三 加速器建设要素整合论坛[A];创新、变革、机遇——2016盘古智库论坛暨第三届学术委员会年会论坛实录(创新创业分册)[C];2016年
20 何科方;钟书华;;企业加速器发展在中国[A];第六届中国科技政策与管理学术年会论文集[C];2010年
中国博士学位论文全文数据库 前20条
1 许柯;深度神经网络加速器软硬件协同设计方法研究[D];北京交通大学;2021年
2 沈俊忠;面向大数据处理的异构融合可重构数据流加速器研究[D];国防科技大学;2020年
3 涂锋斌;神经网络加速器的计算架构及存储优化技术研究[D];清华大学;2019年
4 何科方;企业加速器运营研究[D];华中科技大学;2010年
5 陈艳;基于非易失性存储单元的神经网络加速器设计[D];湖南大学;2020年
6 王佩琪;神经网络软硬件协同加速关键技术[D];清华大学;2019年
7 侯坤;我国金融加速器传导机制研究[D];湖南大学;2011年
8 严小卫;数据库技术及其在加速器腔设计中的应用研究[D];中国原子能科学研究院;2001年
9 邓全;基于动态随机存储器的存储中运算卷积神经网络加速器研究[D];国防科技大学;2019年
10 许金伟;面向卷积和循环神经网络的高性能加速器关键技术研究[D];国防科技大学;2019年
11 林绍辉;深度神经网络压缩与加速关键技术的研究[D];厦门大学;2019年
12 朱莉莉;基于银行脆弱性的金融加速器机制研究[D];浙江大学;2011年
13 丁清扬;基于神经网络和关键结合模式的网络药理学方法及应用[D];清华大学;2020年
14 刘志强;基于FPGA的卷积神经网络加速器关键技术研究[D];国防科技大学;2019年
15 冯谢星;面向深度神经网络的数据增强和优化方法研究[D];湖南大学;2020年
16 王奕森;随机森林和深度神经网络的若干关键技术研究[D];清华大学;2018年
17 张良贵;中国宏观经济波动中金融加速器的作用机制研究[D];吉林大学;2012年
18 纪厚业;异质图神经网络关键技术研究[D];北京邮电大学;2021年
19 姚卫;时滞忆阻神经网络的同步与多稳定性研究[D];湖南大学;2020年
20 秦子迪;深度神经网络若干关键单元的优化与实现[D];南京大学;2020年
中国硕士学位论文全文数据库 前20条
1 袁佳伟;性能和功耗受限下的专用神经网络加速器的设计与实现[D];天津工业大学;2020年
2 朱超阳;稀疏卷积神经网络FPGA加速器的设计与研究[D];浙江大学;2020年
3 李明莉;基于混合重构的高效能多精度卷积神经网络加速器设计[D];南京航空航天大学;2020年
4 范星冉;基于片上网络的神经网络加速器研究[D];天津工业大学;2019年
5 王慧玲;神经网络加速器在太空辐照下的损伤分析与控制[D];中国科学院大学(中国科学院微小卫星创新研究院);2020年
6 斯俊烨;基于嵌入式平台的神经网络加速器研究[D];上海交通大学;2019年
7 刘恂;基于内存计算的卷积神经网络加速器研究[D];北方工业大学;2021年
8 黄友;面向FPGA的深度学习硬件化方法优化与实现[D];国防科技大学;2018年
9 苑福利;基于动态硬件重构的卷积神经网络加速器[D];中国科学技术大学;2021年
10 李永博;基于移位的稀疏卷积神经网络加速器设计[D];上海交通大学;2020年
11 田超;基于FPGA的通用卷积神经网络加速器设计[D];合肥工业大学;2020年
12 宋鹤鸣;智能语音系统加速器设计[D];上海交通大学;2019年
13 王飞;面向便携式应用的神经网络加速器设计[D];合肥工业大学;2020年
14 马茂棣;制程变异影响下卷积神经网络加速器的优化设计研究[D];吉林大学;2021年
15 刘思嫒;一种基于神经网络的卷积加速器及其后端实现[D];电子科技大学;2021年
16 陈伟光;基于多线程架构的卷积神经网络加速器研究[D];中国科学院大学(中国科学院深圳先进技术研究院);2020年
17 余子健;基于FPGA的卷积神经网络加速器[D];浙江大学;2016年
18 马力强;基于ZYNQ的可重构卷积神经网络加速器[D];哈尔滨理工大学;2020年
19 严佳乐;面向生成式神经网络的高能效可重构加速器关键技术研究[D];清华大学;2019年
20 范宇杰;基于FPGA与深度学习的超燃冲压发动机测量监控方法研究[D];哈尔滨工业大学;2020年
中国重要报纸全文数据库 前20条
1 本报驻阿布扎比记者 王俊鹏;阿联酋力推能源转型加速器融资平台[N];经济日报;2021年
2 见习记者 任芳言;中国加速器超导高频腔技术跨入世界前列[N];中国科学报;2020年
3 本报记者 杨富;川商成长与上市加速器投运 计划3-5年推动8家川企上市[N];成都日报;2019年
4 记者 邹建明;让平台成为科技事业发展加速器[N];济南日报;2020年
5 湖北日报全媒记者 王际凯;给科技企业建个加速器[N];湖北日报;2020年
6 深圳商报评论员 胡蓉;科技,深圳防控战的加速器[N];深圳商报;2020年
7 记者 赵广立;“微软加速器·北京”第九期展示日举行[N];中国科学报;2017年
8 本报记者 陆成宽;首台国产加速器硼中子俘获治疗实验装置研制成功[N];科技日报;2020年
9 中国工业报 郭莹;打造实体创新加速器 2020中国设计智造大奖金奖揭晓[N];中国工业报;2020年
10 记者 肖持纲;西安有望成为科技企业加速器国家级试点城市[N];西安日报;2009年
11 本报记者 邓文燕;让传统产业插上科技翅膀 让加速器育出好企业大企业[N];东莞日报;2018年
12 本报记者 谢菁;华田加速器助力企业“加速跑”[N];威海日报;2019年
13 本报记者 陈瑜;反应堆、加速器:其实离生活很近[N];科技日报;2019年
14 记者 王丽超;党建融合 脱贫攻坚路上的加速器[N];赤峰日报;2018年
15 本报记者 刘泰山;国内首个新经济基金加速器落地成都[N];成都日报;2019年
16 本报记者 高博;“中国不应建大加速器”[N];科技日报;2019年
17 深圳特区报记者 段琳筠;减税降费成深企“走出去”加速器[N];深圳特区报;2019年
18 本报记者 李大庆;“葛院士反对建大加速器的论据,我不同意”[N];科技日报;2019年
19 记者 李彦水 见习记者 祖晓晨;考评孵化器绩效 重奖加速器成果[N];石家庄日报;2019年
20 河南法制报记者 翟国明;新乡保险业政保联动成为经济发展加速器[N];河南法制报;2019年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978