收藏本站
《华南理工大学》 2019年
收藏 | 手机打开
二维码
手机客户端打开本文

基于GPU的Spark计算框架性能模型研究

吴梦玲  
【摘要】:机器学习、深度学习和数据分析工具的最新研究进展对现有的计算系统和体系结构提出了新的要求和挑战。为解决此问题,Spark开源大数据计算框架应运而生,它扩展了早前Map-Reduce编程框架,通过基于内存的计算模式,解决了Map-Reduce框架容错性差、I/O操作负载过高等性能瓶颈,优化了大数据计算中的批处理、交互查询和流式计算等核心问题,并与Hadoop及其生态圈完美兼容。当下,Spark受限于CPU有限的运算效率和内存空间,其应用需求与系统性能间差异日益加大,以CPU作为Spark的计算平台已无法满足高效运算的需求。而GPU较之CPU在高性能并行计算领域存在先天性的优势,通过利用GPU上的并行计算资源可大力提升Spark系统的任务处理效率。本文在深入理解Spark计算框架优势的基础上,实现了Spark框架下GPU并行计算的系统性能分析和流程建模。目前,针对基于GPU的Spark计算框架性能建模工作尚处于初始阶段,为了深层次地挖掘与分析基于GPU的Spark计算框架,因此本文提出了基于排队论的Spark+GPU系统建模方法,量化研究了Spark计算系统性能与GPU资源利用之间的相互关系,选取多服务窗混合制M/M/n/m排队模型,得出了系统的平稳分布和主要性能指标,用以指导在线系统性能优化。本文的主要贡献如下:(1)本文首次运用排队论作为建模工具,构建了Spark+GPU量化数学模型。针对GPU多线程并行运算的特点,选取了多服务窗混合制M/M/n/m排队模型,并提出M/M/n/m排队模型的计算方法;(2)多服务窗混合制M/M/n/m排队模型未考虑数据到达的顺序,对多种应用的数据处理不做区分地遵循先来先服务原则,忽略了实际应用固有的优先级特性。针对此问题,本文提出了非强占有限优先权M/M/n/m模型,该模型可减少数据在系统中的平均排队时间,从而提高系统的运算效率。通过两种模型试验数据对比,结果表明有优先权的队列在系统中的平均等待时间随着系统业务量的加大明显小于无优先权队列。(3)针对多服务窗混合制M/M/n/m排队模型,在GPU固定内存带宽下,本文通过Matlab模拟数据规划得出合适的线程数量使得数据在GPU中平均等待时间最少,从而实现GPU资源利用率最大化。
【学位授予单位】:华南理工大学
【学位级别】:硕士
【学位授予年份】:2019
【分类号】:O226;TP311.13

手机知网App
【参考文献】
中国期刊全文数据库 前2条
1 廖倩文;潘久辉;王开杰;;基于排队理论的云计算中心性能分析模型[J];计算机工程;2015年09期
2 何华;林闯;赵增华;庞善臣;;使用确定随机Petri网对Hadoop公平调度的建模和性能分析[J];计算机应用;2015年05期
中国博士学位论文全文数据库 前2条
1 卞琛;内存计算框架性能优化关键技术研究[D];新疆大学;2017年
2 刘俊;分布式数据处理系统中作业性能优化关键技术研究[D];重庆大学;2016年
中国硕士学位论文全文数据库 前4条
1 陈翔;Hadoop平台性能建模与优化技术研究[D];北京工业大学;2017年
2 王昊;云计算环境中多MapReduce作业动态资源分配方法的研究[D];东北大学;2014年
3 姚吉龙;基于大数据的Hadoop并行计算优化处理性能分析[D];南京邮电大学;2014年
4 刘云杰;M/M/n/n排队模型在多线程网络服务软件系统中的应用研究[D];重庆师范大学;2009年
【共引文献】
中国硕士学位论文全文数据库 前10条
1 吴梦玲;基于GPU的Spark计算框架性能模型研究[D];华南理工大学;2019年
2 庞雪;基于MapReduce的深度学习混合模型文本分类研究[D];齐鲁工业大学;2019年
3 余楚波;基于BP神经网络的Map-Reduce能耗优化模型的研究[D];南昌大学;2018年
4 李顺子;基于Storm的食品安全网络舆情预警研究[D];北京化工大学;2018年
5 丁梓文;共享汽车调度优化策略研究[D];长安大学;2018年
6 苏旭博;基于HBase的交通大数据查询优化研究[D];兰州交通大学;2018年
7 毛云峰;基于M/M/n/m模型网上报名系统连接池优化研究[D];昆明理工大学;2017年
8 陶文浩;基于云平台的关联规则算法优化及应用研究[D];河南工业大学;2017年
9 刘丁铭;钻井工程现场综合信息集成系统研究与开发[D];重庆大学;2017年
10 田贺新;分阶段投资决策优化研究[D];杭州电子科技大学;2013年
【二级参考文献】
中国期刊全文数据库 前10条
1 何怀文;傅瑜;杨亮;杨毅红;;性能受限下云中心异构服务器的能耗优化[J];计算机应用;2015年01期
2 何怀文;傅瑜;杨毅红;肖涛;;基于M/M/n/n+r排队模型的云计算中心服务性能分析[J];计算机应用;2014年07期
3 李春艳;何一舟;戴彬;;Hadoop平台的多队列作业调度优化方法研究[J];计算机应用研究;2014年03期
4 邱国新;姜海波;;批量到达的多服务台M~(ξ)/M/n/m排队系统研究[J];甘肃科学学报;2013年01期
5 王巍;罗军舟;宋爱波;;基于动态定价策略的数据中心能耗成本优化[J];计算机学报;2013年03期
6 许丞;刘洪;谭良;;Hadoop云平台的一种新的任务调度和监控机制[J];计算机科学;2013年01期
7 徐小龙;杨庚;李玲娟;王汝传;;面向绿色云计算数据中心的动态数据聚集算法[J];系统工程与电子技术;2012年09期
8 王意洁;孙伟东;周松;裴晓强;李小勇;;云计算环境下的分布存储关键技术[J];软件学报;2012年04期
9 王珊;王会举;覃雄派;周烜;;架构大数据:挑战、现状与展望[J];计算机学报;2011年10期
10 过敏意;;绿色计算:内涵及趋势[J];计算机工程;2010年10期
中国博士学位论文全文数据库 前10条
1 骆涛;面向大数据处理的并行计算模型及性能优化[D];中国科学技术大学;2015年
2 王桂平;云环境下面向可信的虚拟机异常检测关键技术研究[D];重庆大学;2015年
3 周真;云平台下运行环境感知的虚拟机异常检测策略及算法研究[D];重庆大学;2015年
4 顾涛;集群MapReduce环境中任务和作业调度若干关键问题的研究[D];南开大学;2014年
5 林文辉;基于Hadoop的海量网络数据处理平台的关键技术研究[D];北京邮电大学;2014年
6 邓见光;云计算任务调度策略研究[D];华南理工大学;2014年
7 张常淳;基于MapReduce的大数据连接算法的设计与优化[D];中国科学技术大学;2014年
8 韩海雯;MapReduce计算任务调度的资源配置优化研究[D];华南理工大学;2013年
9 章为川;基于各向异性高斯核的图像边缘和角点检测[D];西安电子科技大学;2013年
10 潘锋;特征提取与特征选择技术研究[D];南京航空航天大学;2011年
中国硕士学位论文全文数据库 前6条
1 潘婷;基于物联网服务平台的海量传感信息Hadoop处理方法和系统设计[D];南京邮电大学;2013年
2 孙惠;基于Hadoop框架的大数据集连接优化算法[D];南京邮电大学;2013年
3 曾林西;基于性能预估的Hadoop参数自动调优系统[D];华中科技大学;2013年
4 张密密;MapReduce模型在Hadoop实现中的性能分析及改进优化[D];电子科技大学;2010年
5 张雅清;排队论在超市收银服务系统中的应用研究[D];重庆师范大学;2007年
6 肖丹燕;排队论在校园网管理中的应用研究[D];重庆师范大学;2006年
【相似文献】
中国期刊全文数据库 前10条
1 刘展;徐海元;李媛媛;;机场安检排队模型及其优化[J];科技经济导刊;2017年10期
2 李欣;肖芳园;杨牡丹;;高校食堂排队模型的研究[J];现代物业(上旬刊);2012年10期
3 詹晓琳;张瑜;;单排队模型的随机模拟[J];上海第二工业大学学报;2012年04期
4 阿合买提江·依明江;;概率母函数在排队模型中的应用[J];牡丹江师范学院学报(自然科学版);2007年04期
5 徐幼成,毛家俊,周叔望;单通道可调控排队模型[J];上海电力学院学报;2000年03期
6 史夫勇;;浅谈排队模型及应用[J];河南财经学院学报;1987年03期
7 林齐宁 ,骆中洲;电铲—汽车装运系统的排队模型Ⅰ[J];中国矿业学院学报;1988年03期
8 陈宝谦;单泊位港口系统排队模型的遍历性条件[J];工程数学学报;1988年01期
9 张雄伟;张健;;一种基于分组传送的话音/数据综合的排队模型[J];军事通信技术;1988年03期
10 汤卫平;李宝祥;;用排队模型确定合理的汽车数量[J];有色金属(矿山部分);1988年05期
中国重要会议论文全文数据库 前10条
1 朱翼隽;陶经辉;赵志峰;;一类配套加工零件的负顾客排队模型分析[A];中国运筹学会第六届学术交流会论文集(下卷)[C];2000年
2 郭妤;倪明放;李戈;;限制等待容量的带门排队模型概率母函数的推导[A];第八届中国青年运筹信息管理学者大会论文集[C];2006年
3 史建港;赵光华;荣建;陈艳艳;;奥运场馆观众进场排队模型探讨[A];第八届中国青年运筹信息管理学者大会论文集[C];2006年
4 朱翼隽;唐祥金;陈燕;;M/GI/1负顾客排队模型的平稳条件[A];中国运筹学会第七届学术交流会论文集(下卷)[C];2004年
5 朱翼隽;孟坤;;一类基于随机环境且带有WRED缓存机制的排队模型[A];中国运筹学会第九届学术交流会论文集[C];2008年
6 禹海波;周家良;聂赞坎;;离散时间可修排队MAP/Geometric(Geometric/PH)/1[A];中国运筹学会第六届学术交流会论文集(下卷)[C];2000年
7 陈海宴;惠兴杰;任良超;;基于M/M/1/N/∞排队模型阻塞概率的分析[A];第六届中国青年运筹与管理学者大会论文集[C];2004年
8 丛浩哲;刘君;肖鹏飞;胡伟超;;高速公路交通事件延误时间预测模型[A];2014第九届中国智能交通年会优秀论文集[C];2014年
9 刘润杰;杨放春;;一种新的VoIP流量模型的研究[A];2003年中国通信学会信息通信网络技术年会论文集[C];2003年
10 曹成铉;洪镭;李农;;具有乘积型解的批服务排队网络[A];中国运筹学会第六届学术交流会论文集(上卷)[C];2000年
中国博士学位论文全文数据库 前10条
1 黄月芳;网络流中的反馈排队模型[D];上海大学;2004年
2 艾合买提·卡斯木;几个排队模型的动态分析[D];新疆大学;2013年
3 周宗好;通信网络中的排队模型研究[D];江苏大学;2011年
4 俞政;马尔可夫化方法在时间序列和排队模型中的应用[D];中南大学;2003年
5 石英;基于随机服务过程的铁路物流服务系统可靠性研究[D];中南大学;2011年
6 曾鸣;铁路集装箱中心站物流系统资源调配优化与仿真研究[D];西南交通大学;2015年
7 邱智亮;ATM接入IP交换技术研究[D];西安电子科技大学;1999年
8 刘卫国;基于马尔可夫骨架过程的排队模型及其在Web信息系统中的应用[D];中南大学;2008年
9 许瑞琛;认知无线电频谱接入机制关键技术研究[D];北京邮电大学;2013年
10 毛炳蔚;M/M/1休假排队系统驱动的流排队模型[D];燕山大学;2011年
中国硕士学位论文全文数据库 前10条
1 李卓笑;一类服务失效状态为吸收状态及重试率为常数的M~([X])/M/1排队模型的主算子的负特征值[D];新疆大学;2019年
2 吴梦玲;基于GPU的Spark计算框架性能模型研究[D];华南理工大学;2019年
3 苏俊;一个基于多类E_2/E_2/1排队模型的模糊随机博弈[D];南京大学;2019年
4 买哈巴·乃扎木;第二种服务可选的M/M/1排队模型的主算子的点谱[D];新疆大学;2019年
5 古则力努尔·赛提尼牙孜;偏微分方程形式的M/M/1排队模型的主算子的谱[D];新疆大学;2018年
6 刘永洋;城市信号交叉口排队模型及在稀疏移动检测条件下的重构[D];浙江大学;2018年
7 赵丹君;具有可选服务的M/M/1排队模型的主算子的负特征值[D];新疆大学;2017年
8 努热合麦提·依明;每个忙期中第一个顾客被特殊服务的M/M/1排队模型的主算子的点谱[D];新疆大学;2017年
9 董晓刚;城市交通溢流预防和控制策略研究[D];山东大学;2017年
10 李贺;若干服务可预约的排队模型的研究[D];长安大学;2016年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026