收藏本站
《中国科学院大学(中国科学院深圳先进技术研究院)》 2020年
收藏 | 手机打开
二维码
手机客户端打开本文

神经网络参数压缩和推断加速方法的研究

周阳  
【摘要】:最近几年,随着深度神经网络爆发式的研究和发展,其强大的特征提取和拟合能力使其在图像识别、自然语言处理、语音识别等领域得到了广泛的应用。为了提高神经网络模型的性能,研究人员普遍会设计更深和更复杂的网络,这样会使模型的参数量和计算量大大增加,这对硬件资源(CPU,GPU内存,带宽)的要求也越来越高,成本十分昂贵。同时,将如此复杂的深度神经网络直接部署在计算能力和续航能力有限移动设备上(如手机、无人机、机器人、智能眼镜)具有很大的难度,如何应对设备存储空间和计算能力有限是其中的重大挑战。本文从提高模型的紧凑性和计算的高效性这两方面来解决该问题。本文的主要工作有:1.在主流的轻量型神经网络Mobile Net的基础上,使用Tensor-Train张量分解技术对深度可分离卷积中的1×1卷积进行压缩。提出了自适应Tensor-Train分解算法解决了寻找最优分解秩繁琐的调优问题。对于Cifar-10数据集,本文所提出模型中的参数量仅为Mobile Net 20%-30%。2.针对Tensor-Train分解算法在GPU端前向加速不明显的问题,本文在自适应Tensor-Train分解的基础上,使用较小分解维度和适中分解秩的策略,减少了模型的参数量和计算量。并使用动态规划算法寻找分解后每层网络最优的计算顺序,进一步减少了模型的计算量。3.搭建了一套针对移动端的实时目标检测网络。实验表明,相比于基于原生Moblie Net V2的SSD目标检测网络,本文方法将模型的推断速度加快了约1倍,在华为荣耀V10手机上模型每秒检测帧数从15FPS上升至约30FPS。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前19条
1 王盛玉;曾碧卿;胡翩翩;;基于卷积神经网络参数优化的中文情感分析[J];计算机工程;2017年08期
2 李亭;杨敬锋;彭晓琴;陈志民;;用模糊控制技术调整神经网络参数[J];咸宁学院学报;2008年06期
3 李冬梅;;基于免疫克隆算法的协同神经网络参数优化研究[J];无线互联科技;2014年03期
4 吴贵芳;林青松;孙秀明;徐金梧;徐科;;基于小样本的神经网络参数优化选择方法[J];计算机应用;2008年07期
5 焦纲领;王士星;;基于遗传算法的神经网络参数优化研究[J];数学的实践与认识;2012年11期
6 樊丁,石瑜,严仕斌,陈剑虹;均匀设计法优化神经网络参数的研究[J];甘肃工业大学学报;1998年03期
7 鲍梦;;蚁群算法选择神经网络参数的网络入侵检测[J];现代电子技术;2017年17期
8 赵晶;孙俊;须文波;;基于文化量子粒子群的模糊神经网络参数优化[J];计算机工程与应用;2011年10期
9 韦忠善;明鑫;;改进粒子群算法选择特征和神经网络参数的模拟电路故障诊断[J];内蒙古师范大学学报(自然科学汉文版);2016年01期
10 苗永锋,李正茂,戴冠中;一种基于高阶矩的神经网络参数估计器[J];通信学报;1992年05期
11 冯再勇;;一种值得推广的神经网络参数初始化方法[J];陕西科技大学学报(自然科学版);2008年06期
12 王学智;线性阵信号分析与神经网络参数识别[J];陕西工学院学报;1994年02期
13 刘学飞;朱东梅;李绍红;黄容;;基于量子遗传算法优化的灰色神经网络预测模型[J];重庆三峡学院学报;2015年03期
14 李双贵;杨容;杭旭登;;多群辐射输运计算的输运综合加速方法[J];计算物理;2014年05期
15 ;将QQ等级加速进行到底[J];电脑爱好者;2011年06期
16 陈国权,陈世敏;新产品开发中组织、加速方法和环境因素的系统研究[J];清华大学学报(哲学社会科学版);1998年02期
17 方立;胡琳琳;孙鹏;王昭;;面向视频业务的嵌入式浏览器加速方法[J];电子设计工程;2020年09期
18 童国道;实用于变频调速系统中的一种新型磁场加速方法[J];电气传动;1998年06期
19 刘良林;王全凤;林煌斌;;BP神经网络参数设定及应用[J];基建优化;2007年02期
中国重要会议论文全文数据库 前10条
1 单希壮;;籍压缩空气驱动的动模型等加速度加速方法[A];第九届全国流体力学学术会议论文摘要集[C];2016年
2 孙富春;孙增圻;张戎军;;采样非线性系统的神经网络稳定自适应控制[A];1995年中国智能自动化学术会议暨智能自动化专业委员会成立大会论文集(上册)[C];1995年
3 胡泽新;;神经网络自适应控制系统研究[A];1992年控制理论及其应用年会论文集(上)[C];1992年
4 郝佳恺;赵广怀;高鹏;牛海洋;郝毅;;可变嵌套深度神经网络自动训练方法[A];全国第四届“智能电网”会议论文集[C];2019年
5 徐小天;李敏;孙跃;高冉馨;;深度神经网络的攻击与防御技术研究[A];第三届智能电网会议论文集——智能用电[C];2019年
6 周浩;戴国忠;;基于神经网络的指挥信息系统体系贡献度分析[A];2019第七届中国指挥控制大会论文集[C];2019年
7 李玉缝;;基于BP神经网络的主备频率源时差预报方法[A];中国天文学会2018年学术年会摘要集[C];2018年
8 朱利明;路达;陈占毅;李方明;;基于BP-RBF神经网络的深基坑邻近建筑物沉降势预测[A];土木工程新材料、新技术及其工程应用交流会论文集(下册)[C];2019年
9 张子腾;梁烨;胡启鹏;张梦隆;陈智慧;;基于迁移卷积神经网络的脑功能连接分类[A];创新发展与情报服务[C];2019年
10 孙军田;张喆;;基于神经网络数据挖掘技术确定灾害等级的灭火救援出动力量模型研究[A];2016中国消防协会科学技术年会论文集[C];2016年
中国重要报纸全文数据库 前10条
1 张允硕 姜正义 甄海锋 河南理工大学;基于神经网络的自适应PID控制的智能衣架[N];科学导报;2019年
2 湖北日报全媒记者 张爱虎 通讯员 徐向军 实习生 于蓝;一群“90后”率先建成铁路“神经网络”[N];湖北日报;2019年
3 记者 刘霞;忆阻器制成神经网络更高效[N];科技日报;2017年
4 整理 本报记者 诸玲珍 顾鸿儒;微软神经网络切割法可使加速作用超线性[N];中国电子报;2018年
5 ;神经网络小史[N];电子报;2018年
6 张敏;人机大战,到底谁会赢?[N];北京日报;2017年
7 ;人工智能将取得大面积突破[N];中国企业报;2017年
8 本报记者 龚丹韵;人机大战:人类还有优势吗[N];解放日报;2017年
9 ;人类正迎来云端机器人时代[N];中国企业报;2017年
10 张斌;谁还需要“同传”[N];文汇报;2017年
中国博士学位论文全文数据库 前10条
1 马彦楠;面向微观结构质量优化的模型重构与求解加速方法研究[D];浙江大学;2019年
2 潘流俊;蒙特卡罗临界计算中的裂变矩阵加速方法和p-CMFD方法研究[D];中国工程物理研究院;2015年
3 张知竹;三维特征线方法的并行与加速方法研究[D];清华大学;2013年
4 韩琦;神经网络的稳定性及其在联想记忆中的应用研究[D];重庆大学;2012年
5 张澍;反应堆高保真蒙特卡罗粒子输运模拟加速方法研究[D];中国科学技术大学;2017年
6 郑夕健;基于神经网络的塔式起重机结构有效寿命理论及技术实现[D];东北大学;2010年
7 王丽琪;张量低秩逼近与梯度流方法[D];大连理工大学;2015年
8 李旭涛;基于张量的多关系图挖掘关键技术研究[D];哈尔滨工业大学;2013年
9 刘梦云;基于视觉的室内场景识别及其在多源融合定位中的应用[D];武汉大学;2019年
10 肖理业;基于机器学习的电磁场建模与设计研究[D];电子科技大学;2019年
中国硕士学位论文全文数据库 前10条
1 周阳;神经网络参数压缩和推断加速方法的研究[D];中国科学院大学(中国科学院深圳先进技术研究院);2020年
2 董延胜;粒子群算法在神经网络参数优化中的应用[D];河南科技大学;2009年
3 赵好强;分层自适应源迭代加速方法研究[D];华北电力大学(北京);2019年
4 于磊磊;压缩编码的硬件并行加速方法研究与验证[D];上海交通大学;2018年
5 王一;裂变矩阵加速方法和k-α迭代方法研究[D];中国工程物理研究院;2018年
6 尹红艳;基于免疫遗传算法的模糊神经网络参数的研究[D];辽宁工学院;2007年
7 刘亚营;改进型遗传算法及其在神经网络参数优化中的应用[D];上海海事大学;2003年
8 陈华;楼宇级冷热电联供系统最优化设计的加速方法研究[D];重庆大学;2016年
9 赵卫华;基于神经网络参数优化的PID控制研究[D];中北大学;2008年
10 武迎飞;基于FPGA的浮点运算加速方法的研究[D];河北工业大学;2014年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978