收藏本站
《上海交通大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

异构环境下Map-Reduce调度算法的研究

陈全  
【摘要】: 云计算技术使中小型企业不必组建自己的数据中心,采用“用时付费”的方式,也能获取需要的计算和存储服务。云计算系统背后是强大的并行计算和分布式存储技术。Map-Reduce是现有的云系统采用的并行编程模型和调度方式,在异构环境下,传统的Map-Reduce调度器效率低下,浪费系统资源,任务响应时间长,吞吐率低。 本文首先简要地介绍了云计算的定义、发展、应用场景、核心技术、以及改进的Map-Reduce调度器:LATE调度器。本文的主要工作是:提出了自适应的Map-Reduce调度方式,针对传统Map-Reduce调度方式和LATE调度器的缺点和不足,提出了改进方法。即通过历史信息动态调整Map和Reduce任务各阶段的时间比例。并将节点进一步分类,从而能够在快速节点上启动落后任务的备份任务,从而减小响应时间,并尽量避免节点空载,以免浪费系统资源。本文分析了提出的改进方式的理论基础,以及其他调度方式缺点。另外,通过具体实验,验证了自适应的Map-Reduce调度的有效性,从历史信息中学习的方式在实验中能减少15%左右的响应时间,综合各种技术,能够减少25%左右的响应时间。 论文的创新性在于:(1)首次将历史信息引入到Map-Reduce调度器中,综合历史信息动态调整Map和Reduce任务各阶段的时间比例。(2)考虑Map任务的两阶段特性。(3)将在LATE调度器中提出的慢节点进一步分为Map慢的节点和Reduce慢的节点。(4)每个节点独自地收集运行任务的运行信息,并更新历史信息。
【学位授予单位】:上海交通大学
【学位级别】:硕士
【学位授予年份】:2009
【分类号】:TP301.6

【引证文献】
中国博士学位论文全文数据库 前2条
1 李彭军;医学影像云服务平台基础架构研究与实践[D];南方医科大学;2011年
2 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
中国硕士学位论文全文数据库 前3条
1 刘艳俊;云计算环境下GML空间数据查询与空间分析研究[D];江西理工大学;2012年
2 魏炎炎;异构Hadoop平台性能分析及其调度算法优化研究[D];合肥工业大学;2013年
3 韦祎;云计算环境下基于NPSO算法的任务调度策略研究[D];辽宁大学;2013年
【共引文献】
中国期刊全文数据库 前1条
1 陈全;邓倩妮;;云计算及其关键技术[J];计算机应用;2009年09期
中国博士学位论文全文数据库 前1条
1 刘灿由;电子海图云服务关键技术研究与实践[D];解放军信息工程大学;2013年
中国硕士学位论文全文数据库 前4条
1 王力;高端容错计算机系统监测平台的设计与实现[D];哈尔滨工业大学;2011年
2 方刚;我国云计算商业应用模式的战略发展研究[D];北京邮电大学;2012年
3 杨小虎;集群监控中的检测技术研究[D];中国科学院研究生院(软件研究所);2004年
4 刘卓钺;软件失效模式评测工具的设计与实现[D];哈尔滨工业大学;2012年
【同被引文献】
中国期刊全文数据库 前10条
1 李德毅;;云计算支撑信息服务社会化、集约化和专业化[J];重庆邮电大学学报(自然科学版);2010年06期
2 兰小机,闾国年,刘德儿,张书亮;基于XQuery的GML查询语言研究[J];测绘科学;2005年06期
3 赵园春;李成名;赵春宇;;并行R树空间索引中叶节点大小的确定方法研究[J];测绘科学;2008年04期
4 程旭;马劲松;;基于GDI+的GML可视化模型设计[J];测绘科学;2008年05期
5 周艳;朱庆;张叶廷;;基于Hilbert曲线层次分解的空间数据划分方法[J];地理与地理信息科学;2007年04期
6 赵园春;李成名;赵春宇;;基于R树的分布式并行空间索引机制研究[J];地理与地理信息科学;2007年06期
7 李芳芳;;云计算现状综述[J];电脑知识与技术;2011年04期
8 吴亮;谢忠;陈占龙;马丽娜;;分布式空间分析运算关键技术[J];地球科学(中国地质大学学报);2010年03期
9 陈占龙;吴信才;谢忠;马丽娜;;GSHR-Tree:一种基于动态空间槽和哈希表的网格环境下的空间索引树[J];地球科学(中国地质大学学报);2010年03期
10 俞乃博;;云计算IaaS服务模式探讨[J];电信科学;2011年S1期
中国重要报纸全文数据库 前1条
1 本报记者 祁金华;[N];网络世界;2007年
中国博士学位论文全文数据库 前5条
1 蔡砥;网络计算环境下空间分析的计算模式研究[D];华东师范大学;2004年
2 高刚毅;分布式地理信息系统研究[D];浙江大学;2004年
3 熊劲;大规模机群文件系统的关键技术研究[D];中国科学院研究生院(计算技术研究所);2006年
4 赵春宇;高性能并行GIS中矢量空间数据存取与处理关键技术研究[D];武汉大学;2006年
5 杨小燕;基于IHE的医学影像协作网的构建研究[D];南方医科大学;2009年
中国硕士学位论文全文数据库 前10条
1 张志友;基于瓦片的矢量图幅的分割与合并[D];大连理工大学;2010年
2 吴贵鑫;云计算中的MapReduce并行编程模式研究[D];河南理工大学;2010年
3 陈艳金;MapReduce模型在Hadoop平台下实现作业调度算法的研究和改进[D];华南理工大学;2011年
4 余科军;分布式实时系统任务调度算法的设计和实现[D];四川大学;2006年
5 蔡荣杰;基于对等网络的高性能医学影像服务系统关键技术研究[D];南方医科大学;2008年
6 张丽丽;支持空间分析的并行算法的研究与实现[D];南京航空航天大学;2008年
7 韩立钦;GMLGIS关键技术问题研究[D];江西理工大学;2010年
8 王志红;GMLGIS空间分析与空间数据编辑探索研究[D];江西理工大学;2010年
9 黄晓云;基于HDFS的云存储服务系统研究[D];大连海事大学;2010年
10 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年
【二级引证文献】
中国期刊全文数据库 前2条
1 王鑫;;基于云计算的移动医疗服务平台的构建[J];电子世界;2013年13期
2 杨帅;胡宗倩;伯晓晨;王升启;李非;王东根;;云计算在生物医学中的应用[J];中国科学:生命科学;2013年07期
中国硕士学位论文全文数据库 前2条
1 苏振涛;云社区医疗服务平台关键技术研究[D];山东大学;2012年
2 郭小溪;基于PageRank算法的分布式搜索引擎技术研究[D];大连交通大学;2013年
【相似文献】
中国期刊全文数据库 前10条
1 杜晓丽;王俊丽;蒋昌俊;;异构环境下基干松弛标记法的任务调度[J];自动化学报;2007年06期
2 刘丽,罗德凌;利用SQL SERVER实现数据导入和导出[J];长沙航空职业技术学院学报;2004年01期
3 常志华;张宇燕;;异构环境下实时协同的适应性感知的研究[J];计算机时代;2008年04期
4 李小亚;黄道平;孙宗海;;一种异构传感器网络的能量有效路由算法[J];计算机科学;2008年05期
5 叶菁;陈国龙;俞建家;;基于改进型免疫遗传算法对网格中独立任务调度问题的研究[J];福州大学学报(自然科学版);2010年06期
6 刘刚;计算网格系统异构环境通讯和网络拓扑结构发现机制的研究[J];电脑学习;2004年01期
7 尚明生;异构总线网络的可分负载优化调度算法[J];计算机工程;2005年20期
8 周凌云,陆际光;Web服务在分布式组件集成中的应用[J];微计算机信息;2005年17期
9 郑贵洲;吴信才;晁怡;郭际元;黄晓萍;王琪;黄菊;;面向异构环境的GIS课程教学团队构建[J];测绘通报;2008年09期
10 冯锡炜;王艳秋;薛峰;张同卫;卢红杰;;异构环境数据交换主动发现技术研究与实现[J];辽宁石油化工大学学报;2009年02期
中国重要会议论文全文数据库 前10条
1 赵坤荣;全鼎余;林奎;杨大勇;杨剑;;面向异构环境监测网络的构件管理系统设计[A];2010中国环境科学学会学术年会论文集(第二卷)[C];2010年
2 张晶;张云生;;分层异构控制系统的构件化设计和交互作用语义描述[A];第二十六届中国控制会议论文集[C];2007年
3 郑贵洲;吴信才;晁怡;黄菊;;面向异构环境的GIS课程教学团队构建[A];中国地理信息系统协会第四次会员代表大会暨第十一届年会论文集[C];2007年
4 王晓林;刘蕊;薛建生;;一种异构环境下智能节点重叠网络的改进方案[A];第十届中国科协年会信息化与社会发展学术讨论会分会场论文集[C];2008年
5 冯锡炜;张同卫;薛峰;;基于发布/订阅方式异构环境数据交换技术[A];IT服务促进企业信息化——第十一届中国Java技术及应用交流大会文集[C];2008年
6 吴长俊;曾国荪;刘涛;;异构环境下一种实现负载均衡的MIMO反馈控制模型[A];2006年全国理论计算机科学学术年会论文集[C];2006年
7 范敏;胡伟;;基于改进遗传算法的异构环境混合调度策略研究[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年
8 李宏;吴信才;;异构环境下国土电子政务数据中心的建设新思路[A];中国测绘学会第八次全国会员代表大会暨2005年综合性学术年会论文集[C];2005年
9 王志勇;尹朝万;李贵;汪小男;杨莹;;基于CORBA规范的异构多信息源系统的互操作技术的研究[A];数据库研究进展97——第十四届全国数据库学术会议论文集(上)[C];1997年
10 张涤非;;船舶协同设计中应用系统集成方法研究[A];2004年船舶与海洋工程学术研讨会论文集[C];2004年
中国重要报纸全文数据库 前10条
1 ;英信NS5200异构环境耍大刀[N];计算机世界;2003年
2 本报记者 郭涛;CDP让异构容灾变简单[N];中国计算机报;2011年
3 刘鹏;Cactus:在异构环境中优化应用[N];中国计算机报;2004年
4 清水;自动化网络存储快又省[N];中国计算机报;2003年
5 李永胜;将来的.NET什么样[N];中国计算机报;2005年
6 CPW记者 凡妮 冯华中;与19家ISV合作 IBM落实“随需应变”[N];电脑商报;2003年
7 本报记者 郭平;突破束缚[N];计算机世界;2002年
8 电脑商报记者 张凤岐;云计算就是服务[N];电脑商报;2010年
9 李玲玲;给软件一个坚强的骨架[N];科技日报;2011年
10 ;HP NAS 8000扩展易[N];中国计算机报;2003年
中国博士学位论文全文数据库 前10条
1 翟文正;基于模型的异构多核嵌入式系统开发研究[D];上海大学;2013年
2 姜永;异构无线网络资源管理及博弈研究[D];北京邮电大学;2012年
3 蒋建春;异构多核嵌入式软件关键问题研究[D];重庆大学;2011年
4 孟宇龙;基于本体的多源异构安全数据聚合[D];哈尔滨工程大学;2010年
5 范鹃;异构环境下的网络选择和资源分配研究[D];中国科学技术大学;2013年
6 黄樟钦;异构环境下基于OP通道技术的人—人交互系统研究[D];西安交通大学;2000年
7 李伟平;异构环境下协同设计研究及其在汽车产品设计中的应用[D];湖南大学;2007年
8 叶浩;异构环境下的P2P流媒体传输策略研究[D];中国科学技术大学;2011年
9 汪小燕;无线异构网络协同工作技术研究[D];华中科技大学;2006年
10 滕达;异构无线Mesh网络媒体接入控制策略的研究[D];中国科学技术大学;2010年
中国硕士学位论文全文数据库 前10条
1 李伟琦;异构环境下CAPP数据集成模式的研究与实现[D];大连理工大学;2005年
2 杨承玉;企业级数据接入平台的研究与设计[D];电子科技大学;2005年
3 卓辉;异构环境下实时协同中适应性感知的研究与实现[D];浙江大学;2007年
4 张海峰;基于Rsync的异构环境数据同步机制研究[D];电子科技大学;2009年
5 朱世宇;基于CORBA互操作的企业应用集成研究[D];广西大学;2001年
6 陈田庆;软件公共技术支撑平台开发[D];西安理工大学;2007年
7 杨友兰;异构环境下的铁路货运集成客服系统设计与实现[D];复旦大学;2009年
8 严小华;数据集成中基于本体的语义异构消除研究[D];西南大学;2010年
9 张建平;云计算中基于MapReduce集群模型的调度优化与研究[D];南京邮电大学;2013年
10 吴优;语义异构环境下web服务发现研究[D];杭州电子科技大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026