收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

面向神经网络的无损压缩技术研究

王晨曦  
【摘要】:深度神经网络的计算是一种计算、存储密集型任务。网络模型压缩因可降低其计算所需的能耗、内存、带宽,而成为了研究的热点。目前模型压缩的主要关注点集中在剪枝量化上。而本文探索了另一个视角——在剪枝量化基础上,如何选择合适的无损压缩和稀疏矩阵存储算法以达到更好的压缩效果。本文构建了一个模型压缩评估框架,框架具有可扩展性,只需要按照一定输入输出规则准备好待测试算法和测试用数据,即可自动完成待测算法针对指定数据的压缩率测试。本文列举了通用的无损压缩算法和稀疏矩阵存储算法,并分析了优缺点,在其基础上选择出6种待测试算法,形成36种算法组合,使用评估框架,在剪枝量化后的Resnet18和Mobilenet模型上进行了测试。发现针对细粒度剪枝,熵编码的压缩率最高,但两种熵编码组合较单一熵编码带来的提升微弱。而在稀疏矩阵存储算法中,bitmap取得不错的压缩比,且运算复杂度远远低于熵编码。本文进一步对两个模型的参数进行差分(相邻参数间求差值),发现模型稀疏度大幅上升。在其他条件未变的情况下,差分可为压缩率带来1.3倍以上增幅,这证明了模型内有可利用的数据结构。相比于神经网络加速器中常用的压缩算法CSC,使用差分+bitmap算法可提供1.5倍以上压缩率增幅,而稍复杂的差分+Huffman可提供1.7倍以上增幅,可大大降低模型的传输带宽和存储空间需求。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 佟飞;;大数据时代图片无损压缩技术在摄影本科中的教学中的应用[J];同行;2016年13期
2 尹维汉;孟令军;龚敬;严帅;;高速无损压缩的FPGA实现方法研究[J];电视技术;2012年21期
3 陈杨;;无损压缩技术和宽频带换能器[J];实用影音技术;2008年01期
4 毋清明;;迎战!无损压缩挑战极限![J];电脑爱好者;2006年11期
5 王缔罡;赵晓群;张扬;徐静云;;无损压缩文件的参数特性分析[J];燕山大学学报;2017年01期
6 黄志聪;张长虹;王栓武;;医学图像的无损压缩[J];中国医疗设备;2008年09期
7 李龙;周顽;;数字图像无损压缩[J];软件导刊;2007年07期
8 王武进;;一种二值图像无损压缩方法[J];电脑开发与应用;2006年02期
9 李平,李伟光;医学图像视觉无损压缩的研究[J];长春理工大学学报;2005年03期
10 杨胜天,童勤业;生物医学信号的近无损压缩[J];中国生物医学工程学报;2003年03期
11 肖振国,田心;医学图像无损压缩与有损压缩技术的进展[J];国外医学.生物医学工程分册;2002年02期
12 刘文胜,邓振生,刘新明,蒋大宗;一种基于随机回归辨识理论的医学图像无损压缩方法[J];生物医学工程学杂志;1997年04期
13 黄庆卿;汤宝平;邓蕾;张又进;;机械振动无线传感网络数据分块无损压缩方法[J];仪器仪表学报;2015年07期
14 高健;宋奥;刘万;陈耀;;基于静态串表的图像无损压缩编码方法[J];计算机应用;2011年06期
15 宋娟;李云松;吴成柯;王柯俨;;基于L_∞最小搜索和陪集码的高光谱图像无损及近无损压缩[J];电子学报;2011年07期
16 魏歌;;无损压缩编码的关联性框架模型[J];计算机与数字工程;2009年09期
17 尹忠科,朱维乐,顾德仁;图像分形压缩用于级进式传输和无损压缩[J];电子科技大学学报;1997年05期
18 魏琳;马大玮;余训锋;;一种基于感兴趣区域的图像近无损压缩方法[J];中国科技信息;2006年24期
19 潘涛;音频无损压缩——音乐爱好者的福音[J];实用影音技术;2005年08期
20 邵美云;;基于整数小波变换的遥感超光谱图像无损压缩[J];软件;2012年02期
中国重要会议论文全文数据库 前10条
1 陈虹;宋磊;吴国清;;大规模数值模拟数据的无损压缩[A];中国工程物理研究院科技年报(2005)[C];2005年
2 刘喜成;李声沛;;基于前向神经网络的静止图象自适应预测无损压缩编码[A];1995年中国智能自动化学术会议暨智能自动化专业委员会成立大会论文集(下册)[C];1995年
3 魏歌;;无损压缩编码方法中的关联性研究[A];全国第20届计算机技术与应用学术会议(CACIS·2009)暨全国第1届安全关键技术与应用学术会议论文集(上册)[C];2009年
4 万建邦;林小竹;;有损行程编码方法研究[A];第二届全国信息获取与处理学术会议论文集[C];2004年
5 赵国毅;杨晓春;王斌;;面向相似数据的无损压缩技术[A];NDBC2010第27届中国数据库学术会议论文集A辑二[C];2010年
6 蒋宏;潘登;刘荻;孙志明;刘尔梅;;哈尔滨医科大学第一临床医学院PACC系统一期工程总结[A];首届中国IT与医药卫生高层论坛论文集[C];2004年
7 况军;罗建书;黄志雄;;基于三维自适应预测的多光谱图像的无损压缩算法[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
8 李天伟;贾传荧;李春鑫;;用整数小波和非均匀移位算法实现ROI编码[A];第16届中国过程控制学术年会暨第4届全国故障诊断与安全性学术会议论文集[C];2005年
9 邓冰;林宗坚;彭晓东;;遥感图像信息度量的原理与方法[A];《测绘通报》测绘科学前沿技术论坛摘要集[C];2008年
10 孙蕾;罗建书;;基于分类预测的高光谱遥感图像无损压缩[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
中国博士学位论文全文数据库 前8条
1 武晓玥;图像无损压缩及去噪技术研究[D];西安电子科技大学;2010年
2 张俍;支持查询的大规模图数据无损压缩[D];华东师范大学;2017年
3 高放;高光谱图像无损预测压缩技术研究[D];吉林大学;2016年
4 常为领;面向灾备的无损数据压缩关键技术研究[D];哈尔滨工业大学;2010年
5 王建军;适用于探空火箭的图像压缩算法研究[D];中国科学院研究生院(西安光学精密机械研究所);2010年
6 陆军;基于组合学的数据编码方法研究[D];哈尔滨工程大学;2010年
7 夏晖;矩形NAM图像表示模型的存储与运算方法研究[D];华中科技大学;2009年
8 王玉海;地理信息服务中数据传输的策略研究[D];解放军信息工程大学;2008年
中国硕士学位论文全文数据库 前10条
1 王晨曦;面向神经网络的无损压缩技术研究[D];南京大学;2019年
2 孙真真;摄像头前处理系统中的无损压缩与去雾算法研究[D];山东大学;2018年
3 武文帅;基于无损压缩的文本信息隐藏技术研究[D];长沙理工大学;2017年
4 韩子衿;基于局部相似性的无损压缩方法研究[D];华中科技大学;2017年
5 田磊磊;基于VLSI实现的图像近无损压缩与解压方法研究[D];南京邮电大学;2014年
6 杨文志;雷达图像无损压缩编码方法的研究[D];大连海事大学;2015年
7 孙中柏;一种16位灰度图像无损压缩和解压缩方法[D];电子科技大学;2012年
8 任武林;基于FPGA的无损压缩技术研究[D];中北大学;2011年
9 朱策;面向高速采集与实时存储的无损压缩编码设计与实现[D];国防科学技术大学;2015年
10 陈军;基于LOCO-I算法的高速星载图像无损压缩FPGA实现研究[D];中国科学院研究生院(空间科学与应用研究中心);2011年
中国重要报纸全文数据库 前10条
1 湖南 古铜;无损压缩CD之APE[N];电脑报;2003年
2 通讯员聂小清;电话线就能当宽带用[N];科技日报;2002年
3 辽宁 张迪;APE到MP3一步到位[N];电脑报;2003年
4 鸣人;保存JPEG的两个秘密[N];中国摄影报;2010年
5 李剑峰;影音不分家,无损音频知多少?[N];电脑报;2014年
6 ;顶级MP3播放器挑战赛[N];中国计算机报;2005年
7 中国计算机报数字实验室 尚吉刚;顶级MP3播放器挑战赛[N];中国计算机报;2005年
8 湖南 古铜;APE到MP3轻松转换[N];电脑报;2003年
9 浙江 方位;关于4K超高清蓝光DVD开发的三点建议[N];电子报;2015年
10 湖南 古铜;玩转音乐[之CD刻录][N];电脑报;2004年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978