收藏本站
《华南理工大学》 2013年
收藏 | 手机打开
二维码
手机客户端打开本文

MapReduce计算任务调度的资源配置优化研究

韩海雯  
【摘要】:大数据处理平台中任务密度和数据厚度不断增加,平台资源规模也随之不断扩展。面对错综复杂的大数据计算任务串并行执行过程和并发调度过程,如何合理配置平台资源,这直接决定了大数据处理平台的业务承载能力。现有的以面向数据并行编程模型为核心的大数据处理技术,主要着眼于计算任务调度执行过程中各种资源的并行化及相关伸缩性实现研究,却在基于不同用户和不同计算任务间相异的资源需求展开资源配置优化方面尚未展开充分的研究。 大数据处理平台的资源配置优化问题,是大数据应用发展推动下形成的重要研究领域,目前相关的研究工作仍处于起步阶段。瞄准这一薄弱点,着眼于新兴的MapReduce大数据处理框架,本文对大数据处理技术特点和MapReduce计算任务调度执行过程进行了全面而深入的分析,并提出了资源配置优化的系统解决方案,从纵向的单计算任务串行执行和横向的多计算任务并发调度这两个层面对大数据处理平台资源的配置进行优化,以达到提高大数据处理平台资源利用率、加强平台业务承载能力的最终目的。 本文的主要研究工作和创新点概括如下: 1.从大数据处理显著的动态特性出发,为构建自适应的资源配置优化体系框架,提出计算任务运行概貌概念,为大数据处理计算任务塑型负载表征。由此出发,基于新兴大数据处理系统—MapReduce编程模型及其支撑系统的工作原理和工作机制,对MapReduce计算任务运行概貌的实际结构及组成字段进行了详细的设计和构建。进一步地,基于BTrace技术开发了非入侵式的动态探针程序,实现对MapReduce计算任务实际执行情况的细粒度实时探测,并生成具体的计算任务运行概貌值。 2.基于MapReduce计算任务运行概貌,从纵向的单MapReduce计算任务串行执行层面,提出一种自适应动态资源配置自调优方法,即运行概貌-性能预测-性能优化(Profile-Predict-Optimize,PPO)方法,并依次构建了相应的MapReduce计算任务性能预测模型和MapReduce计算任务性能优化模型。其中,MapReduce计算任务性能预测模型采用基于已知计算任务运行概貌及假设计算任务资源配置计划的白盒分析方法和基于决策树学习的黑盒评估方法等进行综合建模,实现对计算任务执行性能的预测和估算。MapReduce计算任务性能优化模型则在此基础上进一步采用子空间分解和递归随机搜索技术对庞大而高维的资源配置计划解空间进行有效搜索,并基于用户优化目标和相应约束条件进行寻优比较,求出资源配置计划最优解。深入的实验评测结果表明,性能预测模型在运行探针程序额外开销下,会产生平均15.1%的计算任务执行时间过量预测,但基本能够清晰有效地识别出导致好的优化效果的计算任务配置参数值;与目前常用的经验规则方法相比,性能优化模型能在多计算任务并发执行中把计算任务执行时长改善幅度的平均值提高42%、最大值提高25.7%。 3.基于计算任务运行概貌和计算任务性能预测模型,从横向的多MapReduce计算任务并发调度层面,提出一种自适应的资源感知动态并发调度方法(Resource-awareDynamic Scheduler,RDS),并据此设计和开发了RDS调度器原型。RDS调度器创新性地在多任务并发调度过程中纳入了对来自多用户的不同计算任务完成质量需求的考虑,面向多个动态随机到达的MapReduce计算任务,通过资源放置矩阵感知系统资源使用情况的最新状态,基于用户计算任务完成质量需求建立计算任务效用评估模型,以计算任务效能总值最大化为调度目标,不断动态更新计算任务在各处理机节点的资源调度分配,以达到满足平台多用户计算任务完成质量要求和提高平台总体资源利用率的双赢。综合评测结果表明, RDS调度器能够对平台资源在多个并发执行的计算任务间的分配情况进行动态调整,在放松的计算任务完成时长目标和紧缩的计算任务完成时长目标下,其表现均优于Hadoop系统提供的公平调度器,达到与其相比5-100%的计算任务执行时长的缩减。
【学位授予单位】:华南理工大学
【学位级别】:博士
【学位授予年份】:2013
【分类号】:TP311.13

手机知网App
【参考文献】
中国期刊全文数据库 前9条
1 刘正伟;文中领;张海涛;;云计算和云数据管理技术[J];计算机研究与发展;2012年S1期
2 黄訸;易晓东;李姗姗;廖湘科;;面向高性能计算机的海量数据处理平台实现与评测[J];计算机研究与发展;2012年S1期
3 郑湃;崔立真;王海洋;徐猛;;云计算环境下面向数据密集型应用的数据布局策略与方法[J];计算机学报;2010年08期
4 王珊;王会举;覃雄派;周烜;;架构大数据:挑战、现状与展望[J];计算机学报;2011年10期
5 李强;郝沁汾;肖利民;李舟军;;云计算中虚拟机放置的自适应管理与多目标优化[J];计算机学报;2011年12期
6 李建锋;彭舰;;云计算环境下基于改进遗传算法的任务调度算法[J];计算机应用;2011年01期
7 孟小峰;慈祥;;大数据管理:概念、技术与挑战[J];计算机研究与发展;2013年01期
8 王元卓;靳小龙;程学旗;;网络大数据:现状与展望[J];计算机学报;2013年06期
9 步立新;罗文钰;冯允成;;随机递归算法求解车辆路径问题[J];系统工程理论与实践;2008年11期
中国博士学位论文全文数据库 前2条
1 陈榕;多核环境下面向数据并行编程模型的性能和可伸缩性研究[D];复旦大学;2011年
2 史恒亮;云计算任务调度研究[D];南京理工大学;2012年
【共引文献】
中国期刊全文数据库 前10条
1 魏东泽;来学嘉;;一种安全的高可靠性P2P云存储备份模型初探参考文献[J];信息安全与技术;2011年09期
2 王继鹏;;高等教育云计算服务平台构建策略初探[J];安阳师范学院学报;2011年05期
3 刘真;刘峰;张宝鹏;马飞;高石玉;;云计算模型在铁路大规模数据处理中的应用[J];北京交通大学学报;2010年05期
4 徐小龙;程春玲;熊婧夷;王汝传;;一种基于移动Agent的云端计算任务安全分割与分配算法[J];北京理工大学学报;2011年08期
5 李建卓;;云计算及其发展综述[J];宝鸡文理学院学报(自然科学版);2010年03期
6 董晓霞;吕廷杰;;云计算研究综述及未来发展[J];北京邮电大学学报(社会科学版);2010年05期
7 邓仲华;朱秀芹;;云计算环境下的隐私权保护初探[J];图书与情报;2010年04期
8 马晓亭;陈臣;;基于成本收益分析的云计算环境下数字图书馆建设研究[J];图书与情报;2011年06期
9 朱德新;宋雅娟;;海量数据分析及处理算法实现[J];长春大学学报;2011年08期
10 黄小龙;;浅谈云计算技术在教育领域的应用[J];成功(教育);2011年08期
中国博士学位论文全文数据库 前10条
1 吴吉义;基于DHT的开放对等云存储服务系统研究[D];浙江大学;2011年
2 王铁军;非结构化对等网络资源定位技术研究[D];电子科技大学;2010年
3 江颉;面向电子服务的访问控制关键技术研究[D];浙江大学;2010年
4 张泽华;云计算联盟建模及实现的关键技术研究[D];云南大学;2010年
5 李铮;多媒体云计算平台关键技术研究[D];中国科学技术大学;2011年
6 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
7 林云;汽车物流服务供应链体系构建与应用研究[D];重庆大学;2011年
8 朱智强;混合云服务安全若干理论与关键技术研究[D];武汉大学;2011年
9 方雷;基于云计算的土地资源服务高效处理平台关键技术探索与研究[D];浙江大学;2011年
10 葛显龙;面向云配送模式的车辆调度问题及算法研究[D];重庆大学;2011年
中国硕士学位论文全文数据库 前10条
1 孔楠;基于云计算平台的商业服务模式研究[D];上海外国语大学;2010年
2 康兴元;面向模具企业的注塑模设计知识网络化管理系统研究[D];大连理工大学;2010年
3 姜健;云计算在企业物资供应系统的应用研究[D];辽宁工程技术大学;2009年
4 薛师;云计算与网格计算的比较研究[D];河南理工大学;2010年
5 刘震宇;基于VMware vSphere4.0的PC服务器资源池构建[D];大连海事大学;2010年
6 梁文迪;一体化资产管理系统中财务模块的设计与实现[D];华南理工大学;2010年
7 胡清;基于云计算的券商网络营销服务平台研究与设计[D];南昌大学;2010年
8 李婵;基于云计算的智能手机数据挖掘平台的架构和实现[D];武汉理工大学;2010年
9 贺鹏;云计算的开发云的研究与实现[D];电子科技大学;2011年
10 李克然;基于云计算的电子商务数据管理模式研究[D];西安电子科技大学;2011年
【二级参考文献】
中国期刊全文数据库 前10条
1 李艳华;;云计算技术研究现状综述[J];电脑知识与技术;2009年22期
2 吴吉义;傅建庆;张明西;平玲娣;;云数据管理研究综述[J];电信科学;2010年05期
3 俞斌,袁保宗;用于特征选择的BF算法及其与BF算法的比较[J];电子学报;1993年04期
4 刘东华,徐志伟,李伟;基于有向无环图的两层网格监测系统[J];计算机研究与发展;2002年08期
5 谢向辉,彭龙根,吴志兵,卢德平;基于InfiniBand的高性能计算机技术研究[J];计算机研究与发展;2005年06期
6 赵毅;朱鹏;迟学斌;牛铁;曹宗雁;;浅析高性能计算应用的需求与发展[J];计算机研究与发展;2007年10期
7 姚国辉;朱大铭;马绍汉;;有向无环图最小度生成树问题的一种近似算法[J];计算机研究与发展;2009年06期
8 孙凌宇;冷明;谭云兰;郁松年;;赋权有向图的最小生成树算法[J];计算机工程;2010年02期
9 周傲英;金澈清;王国仁;李建中;;不确定性数据管理技术研究综述[J];计算机学报;2009年01期
10 高明;金澈清;王晓玲;田秀霞;周傲英;;数据世系管理技术研究综述[J];计算机学报;2010年03期
中国硕士学位论文全文数据库 前2条
1 郑爱卿;基于执行时间方差的元任务网格调度算法研究[D];北京交通大学;2008年
2 赵春燕;云环境下作业调度算法研究与实现[D];北京交通大学;2009年
【相似文献】
中国期刊全文数据库 前10条
1 周超;杨愚鲁;杨学刚;李克;;NoMan-Grid计算原型系统[J];计算机工程;2008年17期
2 李建;钟欣;;多任务编程方法在船舶电力监控系统中的应用[J];上海船舶运输科学研究所学报;2009年01期
3 胡宏政;黄琦;;基于遗传算法的网格任务调度研究[J];计算机时代;2006年03期
4 张青波;;一种实时内核任务调度机制的设计[J];浙江工商职业技术学院学报;2006年02期
5 胡鸿豪;吴勇翀;文琳莉;宁小平;;基于Linux多任务操作系统扫频仪的研究[J];现代电子技术;2008年04期
6 蒋卓材;黄文明;雷领红;;基于混合遗传与禁忌搜索的网格任务调度的研究[J];计算机与现代化;2008年05期
7 曹渠江;徐明;;基于多Agent的MES任务调度的研究与设计[J];微计算机信息;2008年33期
8 徐洪智;李仁发;;一种调度In-Tree任务图的算法[J];计算机工程;2008年23期
9 黄学雨;何焕;戴志晃;;基于Min-Min和蚁群算法的网格任务调度方法[J];计算机时代;2009年07期
10 司炯;李东生;;基于遗传算法的多处理器系统任务调度[J];微型机与应用;2011年10期
中国重要会议论文全文数据库 前10条
1 杨舰;黄道平;李小亚;;GDCS任务调度的SPN模型研究[A];第二十六届中国控制会议论文集[C];2007年
2 赖华;王勇;;网格环境中基于改进蚂蚁算法任务调度的研究[A];江苏省现场统计研究会第十次学术年会论文集[C];2006年
3 许可;史海波;;基于多Agent的分散网络化制造企业任务调度[A];2003中国控制与决策学术年会论文集[C];2003年
4 王璐璐;张素伟;任颉;;网格调度算法[A];《制造业自动化与网络化制造》学术交流会论文集[C];2004年
5 张会福;陈然;;遗传算法的群体分组并行研究[A];2009年全国开放式分布与并行计算机学术会议论文集(上册)[C];2009年
6 王璐璐;张素伟;任颉;;网格调度算法[A];先进制造技术论坛暨第三届制造业自动化与信息化技术交流会论文集[C];2004年
7 张道德;杨光友;苏旭武;丁毅;;基于ARM架构移植μC/OS-Ⅱ的任务调度[A];2005年十二省区市机械工程学会学术年会论文集(湖北专集)[C];2005年
8 颜桐;李巍;李云春;;计算网格环境下以QoS为指导的启发式任务调度[A];2006年全国开放式分布与并行计算学术会议论文集(二)[C];2006年
9 贺晓丽;;一种用于解决并行任务分布问题的广义遗传算法[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集(上)[C];2008年
10 黄鲲;王知衍;翁小雄;;树形异构网格的启发任务调度算法[A];2007年全国开放式分布与并行计算机学术会议论文集(下册)[C];2007年
中国重要报纸全文数据库 前10条
1 曲芳 戴江勇 龚界文 院宣 肖文正 杨丽;坚决落实型号任务调度令[N];中国航天报;2008年
2 何川 方兴;运筹帷幄决胜千里[N];计算机世界;2001年
3 ;五大管理市场细分报告解读[N];网络世界;2007年
4 王波;Linux与服务器集群技术[N];中国计算机报;2002年
5 ;任务运行 因时而宜[N];中国电脑教育报;2004年
6 中国铁通集团有限公司 张胡笳 北京瑞斯康达科技发展有限公司 秦萌;接入层安全管理从“小”做起[N];通信产业报;2006年
7 ;基于SOC/IP的智能传感器设计研究(下)[N];电子报;2007年
8 刘琦;MapReduce:亚马逊云服务再添新援[N];中国计算机报;2009年
9 广铁集团电算信息中心 王奇成 张南飞;Sybase数据库性能调优[N];计算机世界;2003年
10 《网络世界》记者 周源;Platform MapReduce:专注企业级用户[N];网络世界;2011年
中国博士学位论文全文数据库 前10条
1 韩海雯;MapReduce计算任务调度的资源配置优化研究[D];华南理工大学;2013年
2 史恒亮;云计算任务调度研究[D];南京理工大学;2012年
3 刘彦;异构多核片上系统的任务调度及应用研究[D];湖南大学;2009年
4 汤绍勋;天基预警低轨星座星载传感器资源管理与预警探测任务调度问题研究[D];国防科学技术大学;2011年
5 黄万伟;基于服务属性区分的可重构任务调度研究[D];解放军信息工程大学;2009年
6 瞿进;可重构系统软硬功能划分及任务调度技术研究[D];解放军信息工程大学;2011年
7 陈锡明;基于NOW的任务调度和负载平衡方法研究[D];电子科技大学;2000年
8 熊曾刚;集成P2P模式的网格资源发现模型、算法与任务调度研究[D];北京科技大学;2009年
9 耿晓中;基于多核分布式环境下的任务调度关键技术研究[D];吉林大学;2013年
10 丁顺利;基于代理的网格资源管理与任务调度[D];吉林大学;2006年
中国硕士学位论文全文数据库 前10条
1 刘沙;可重构系统任务调度与系统级FPGA抗辐照设计[D];复旦大学;2010年
2 徐淑琦;基于MapReduce的高性能云计算任务调度技术的研究[D];北京工业大学;2013年
3 李星;网格技术研究和基于蚂蚁算法的任务调度仿真器设计[D];河北工业大学;2004年
4 钟旭;基于混合遗传算法的异构网格任务调度[D];山东大学;2010年
5 张祖礼;网格计算中带有资源属性选择的任务调度的设计与实现[D];哈尔滨工业大学;2010年
6 贾志强;嵌入式操作系统μCOS的移植与测试[D];太原理工大学;2004年
7 车晓雪;基于遗传算法的网格任务调度研究[D];青岛大学;2007年
8 刘先刚;网格计算中任务的调度策略和调度算法的研究[D];太原理工大学;2010年
9 阳明晔;基于DSP的导引头信息处理机软件系统的设计与实现[D];国防科学技术大学;2003年
10 侯锋;空间信息栅格中基于市场机制的任务调度模型研究[D];国防科学技术大学;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026