收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于GPU的深度神经网络模型并行及优化方法研究

张函  
【摘要】:目前,深度神经网络在图像处理、语音识别和自然语言处理领域发挥着极其重要的作用,然而由于学习的数据量庞大,直接导致实验过程中模型的学习速度很慢。过去,一般会通过增加机器数量来实现快速学习。如今,随着图形处理器(Graphics Processing Unit,GPU)的内存和计算能力的提升,越来越多的用到GPU进行计算。但是模型的增大又受到单个GPU内存太小的限制,经常因为更大的模型在GPU上无法储存,致使在单GPU上不能训练拥有较多参数的神经网络。针对当前深度神经网络模型训练效率低下的问题,提出了在深度神经网络学习的过程中采用多GPU上模型并行训练的方法。为了优化模型并行训练,提高模型训练速度,从以下三个方面进行了优化。要实现深度神经网络模型的并行计算,首先要将一个计算模型拆分成两个模型分片分别存储在两个GPU上,使两个模型能够在两个GPU上并行计算;优化模型并行计算的顺序,在深度神经网络模型训练的过程中,不同的地方使用不同的并行方案,在深度神经网络的卷积层中使用数据并行,而在全连接层中使用模型并行;再次优化模型在训练过程中访存读取数据的性能,在模型并行结构中加入一个数据转化层来实现GPU上的数据整合或者交换;最后针对训练数据集太大的问题我们使用Mini-batch并行训练的方法来优化数据处理。采用多GPU加速深度神经网络的模型并行优化设计方案,同时结合在模型并行训练中对数据的并行处理,从而实现了对深度神经网络模型并行训练的加速。在Linux操作系统以及CUDA的编程环境下,实验主要使用MNIST、CIFAR10、以及CAR数据集对算法进行了对比测试,实验结果表明,采用多GPU的模型并行训练方法与caffe的方法相比,在训练准确率相当的前提下,训练的效率提高了20%至30%,深度学习方法的损失也较之小;最后,深度神经网络模型并行训练的方法最终也成功的应用到了车型识别的系统之中。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 王阿明,刘天放,王绪;高阶神经网络模型特性研究[J];中国矿业大学学报;2003年02期
2 黄秉宪;;随意运动控制与学习的多级神经网络模型[J];国外医学.生物医学工程分册;1988年02期
3 周常河,刘立人,王文江;高阶神经网络模型的一种光学实现结构[J];量子电子学;1992年01期
4 潘中良,陈光;数字电路的最优神经网络模型及建立方法[J];信号处理;2000年01期
5 于敏学,李敏生;神经网络模型的结构和算法的分离[J];北京理工大学学报;2001年05期
6 程惠涛,黄文虎,姜兴渭,王日新;基于神经网络模型的故障预报技术研究[J];哈尔滨工业大学学报;2001年02期
7 田社平,丁国清,颜德田;神经网络模型及其在计量与测试中的应用[J];计量技术;2001年08期
8 谭艳华,王林山;关于《一类具有时滞的神经网络模型的收敛性》的注记[J];生物数学学报;2001年01期
9 赵德双 ,王秉中,钟晓征;共面互连线频变电阻电感的稳健知识神经网络模型[J];微波学报;2002年01期
10 隋青美,王正欧;发酵过程混合神经网络模型及其仿真[J];系统仿真学报;2002年04期
11 全永兵,张化光,王洋,赵志刚;一类新型神经网络模型及其控制器设计[J];东北大学学报;2002年12期
12 徐军,张春凤,钟守铭;一类神经网络模型的解及其渐近性态[J];电子科技大学学报;2002年05期
13 魏永梅,林建中,张雷,乔俊伟,詹永麒;基于结构的神经网络模型[J];上海理工大学学报;2002年03期
14 王迎春,耿长福;一种具有较强泛化能力的神经网络模型研究与应用[J];航天控制;2002年02期
15 宣士斌,冯嘉礼;属性神经网络模型[J];计算机研究与发展;2002年11期
16 戴斌祥,张娜,贺注国;关于一类离散时间神经网络模型的稳定性[J];湖南大学学报(自然科学版);2003年01期
17 孟志青,胡奇英,杨晓琪;基于精确罚函数的一类广义非线性神经网络模型[J];自动化学报;2003年05期
18 侯学刚;时滞Hopfield神经网络模型的渐近性态分析[J];乐山师范学院学报;2003年04期
19 杨天才,刘鸿,程绍佳,杨长青;一种神经网络模型在混凝土配比设计中的应用[J];武汉工程职业技术学院学报;2003年02期
20 朱惠延,黄立宏,戴斌祥;一类二元神经网络模型的收敛性(英文)[J];应用基础与工程科学学报;2003年02期
中国重要会议论文全文数据库 前10条
1 孙宝成;刘锡荟;;时间序列神经网络模型[A];全国青年管理科学与系统科学论文集(第1卷)[C];1991年
2 周金荣;胡泽新;黄道;;一种多层混合型神经网络模型的研究[A];1995中国控制与决策学术年会论文集[C];1995年
3 王阿明;刘天放;;高阶神经网络模型特性研究[A];中国地球物理学会年刊2002——中国地球物理学会第十八届年会论文集[C];2002年
4 屈景怡;王如彬;;大脑皮层神经网络模型同步问题研究[A];第十四届全国非线性振动暨第十一届全国非线性动力学和运动稳定性学术会议摘要集与会议议程[C];2013年
5 张美恋;林熙;;经济增长的神经网络模型[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
6 陈昭炯;叶东毅;;一个改进的竞争神经网络模型[A];1996中国控制与决策学术年会论文集[C];1996年
7 郭成安;李建华;李明伟;;从观测数据学习后验概率函数:一种最佳神经网络模型的设计与分析[A];第十届全国信号处理学术年会(CCSP-2001)论文集[C];2001年
8 李媛;康春艳;于亚芳;;交指型缺陷接地结构共面波导的神经网络模型[A];2009年全国微波毫米波会议论文集(上册)[C];2009年
9 禹建丽;苏中义;杨卫平;;牵引传动中润滑油牵引系数的神经网络模型[A];2005年中国智能自动化会议论文集[C];2005年
10 胡金亮;李建生;余学庆;沈建京;周涛;王永炎;;用于中医证候量化诊断的神经网络模型的探索[A];计算机在诊法中的应用与研究论文汇编[C];2005年
中国博士学位论文全文数据库 前10条
1 袁朝晖;二元离散神经网络模型的动力学分析[D];湖南大学;2003年
2 王军平;几类离散神经网络模型的动力学分析[D];复旦大学;2006年
3 南晋华;决策神经网络模型及应用研究[D];华中科技大学;2008年
4 周日贵;量子神经网络模型研究[D];南京航空航天大学;2008年
5 刘艳青;时滞神经网络模型的稳定性研究[D];天津大学;2005年
6 赵灵晓;基于部件神经网络模型的制冷系统混合仿真方法及应用[D];上海交通大学;2010年
7 朱红;高速(HS-K-WTA)神经网络模型[D];南京理工大学;2003年
8 熊佩英;几类神经网络模型的动力学分析[D];湖南大学;2013年
9 刘开宇;几类二元神经网络模型的动力学性质研究[D];湖南大学;2004年
10 黄振坤;几类神经网络模型的动力学分析[D];浙江大学;2007年
中国硕士学位论文全文数据库 前10条
1 杨巍;三元离散神经网络模型的稳定性与分岔分析[D];东北林业大学;2010年
2 孙文渊;基于BP神经网络模型下预测吉林省GDP[D];延边大学;2015年
3 李波;一类带有分段连续控制项的非线性递推关系的渐近周期性[D];延边大学;2015年
4 巩云野;两类具有时滞项的Cohen-Grossberg神经网络模型的稳定性分析[D];东北林业大学;2015年
5 王薇;一类离散时间双极人工神经网络模型的周期性[D];延边大学;2015年
6 李辰风;改进遗传BP网络的地表沉降预测方法研究[D];江西理工大学;2015年
7 尤军;民用建筑沉降监测与预报方法应用研究[D];宁夏大学;2015年
8 吴娇娇;基于时空神经网络模型的瓦斯浓度预测研究[D];中国矿业大学;2015年
9 李灵光;细长导轨加工变形分析与参数优化技术[D];北京理工大学;2015年
10 王鹏;切换Cohen-Grossberg神经网络模型的动力学分析[D];长沙理工大学;2014年
中国重要报纸全文数据库 前1条
1 自治区交通厅养路费征稽处 程爱娟;应用“神经网络模型”预测妇女的平均工资水平[N];新疆科技报(汉);2000年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978