收藏本站
《南京理工大学》 2012年
收藏 | 手机打开
二维码
手机客户端打开本文

基于反馈的动态负载平衡调度算法在Hadoop异构环境中的设计与实现

李元洪  
【摘要】:云计算是以互联网为基础的新一代技术的总称,是并行计算、分布式计算和网格计算的综合发展。云计算技术将计算资源以服务的形式提供给用户使用,广泛应用于海量信息的存储和快速高效的数据分析。Google提出的MapReduce计算模型将云计算应用的开发抽象成map和reduce两个操作,封装了并行计算中的数据处理、本地化文件系统、网络负载调节和容错处理等细节,降低了云计算应用设计开发的难度。 本文在介绍云计算的基本概念、体系结构及其应用发展的基础上,分析了云计算模型的实现框架和容错机制。针对云计算Hadoop开源平台,详细分析了其中的分布式文件系统(HDFS, Hadoop Distributed File System)和MapReduce计算模型,并对Hadoop平台下的作业调度技术、FIFO、公平队列和计算能力作业调度算法做了深入的研究。 对Hadoop现有的调度算法在异构环境下的计算性能进行了详细的分析,包括硬件资源的CPU使用率和磁盘I/O读写频率对MapReduce作业调度的影响。在此基础上通过对现有的计算能力调度算法进行改进,提出了一种基于反馈的动态负载平衡调度算法,该算法通过计算已运行作业的硬件负载耗费情况,将运行结果反馈给控制节点,修改现有的作业调度策略,提高了MapReduce在异构的Hadoop节点集群中的运行效率。 最后,基于文化资源共享系统搭建了Hadoop云计算集群实验平台,在该平台上对本文提出的基于反馈的动态负载平衡调度算法的运行效率做了详细的实验分析和对比。实验证明,本文提出的调度策略提高了计算节点硬件资源的利用率。
【学位授予单位】:南京理工大学
【学位级别】:硕士
【学位授予年份】:2012
【分类号】:TP393.0

手机知网App
【引证文献】
中国硕士学位论文全文数据库 前1条
1 胡文静;基于Hadoop的呼叫追踪模拟系统的研究与应用[D];武汉理工大学;2013年
【参考文献】
中国期刊全文数据库 前10条
1 何明;郑翔;赖海光;姜峰;;云计算技术发展及应用探讨[J];电信科学;2010年05期
2 罗达强;;探析Windows Azure Platform微软云计算平台[J];硅谷;2010年16期
3 章雅娟;赵艳平;;浅谈Web数据库[J];甘肃科技;2006年06期
4 别坤;;阿里巴巴的江湖[J];互联网周刊;2010年22期
5 孙牧;;云端的小飞象—Hadoop[J];程序员;2008年10期
6 王峰;;Hadoop集群作业的调度算法[J];程序员;2009年12期
7 罗红兵;张晓霞;魏勇;;大规模并行计算机作业调度评价[J];计算机工程与应用;2006年10期
8 王凯;吴泉源;杨树强;;一种多用户MapReduce集群的作业调度算法的设计与实现[J];计算机与现代化;2010年10期
9 安婷;;云计算在高校教育信息化建设中的应用浅析[J];科学咨询(科技·管理);2010年10期
10 谢桂兰;罗省贤;;基于Hadoop MapReduce模型的应用研究[J];微型机与应用;2010年08期
中国硕士学位论文全文数据库 前10条
1 霍树民;基于Hadoop的海量影像数据管理关键技术研究[D];国防科学技术大学;2010年
2 王凯;MapReduce集群多用户作业调度方法的研究与实现[D];国防科学技术大学;2010年
3 付志超;基于Map/Reduce的分布式智能搜索引擎框架研究[D];武汉理工大学;2008年
4 赵春燕;云环境下作业调度算法研究与实现[D];北京交通大学;2009年
5 邓自立;云计算中的网络拓扑设计和Hadoop平台研究[D];中国科学技术大学;2009年
6 张仁爱;产品库平台系统的研究和实现[D];浙江大学;2010年
7 丁敏敏;网格计算中改进Min-Min算法的研究[D];西北大学;2010年
8 李雪锋;基于云计算环境的web数据挖掘算法研究[D];北京交通大学;2010年
9 陆秉嘉;基于GPU的图形渲染和并行计算在光学分子成像中的应用[D];西安电子科技大学;2010年
10 刘小帅;PC制造商转型与HaaS商业模式创新的研究[D];北京邮电大学;2010年
【共引文献】
中国期刊全文数据库 前10条
1 马颖丽;汪涛;;构建高校私有云计算环境[J];保定学院学报;2011年03期
2 徐鹏;陈思;苏森;;互联网应用PaaS平台体系结构[J];北京邮电大学学报;2012年01期
3 贾海燕;;云计算在互动电视上的应用[J];产业与科技论坛;2011年01期
4 周翔翔;姚佩阳;王欣;张杰勇;;战役任务规划的有效测度及设计[J];电光与控制;2011年12期
5 郭亮;崔金玲;;Asp+Access的安全隐患分析及应对方案[J];电脑知识与技术;2008年09期
6 胡光民;周亮;柯立新;;基于Hadoop的网络日志分析系统研究[J];电脑知识与技术;2010年22期
7 开华东;田琪;;基于MapReduce集群的加权公平队列调度算法研究[J];电脑知识与技术;2011年09期
8 李洪波;;高校数字化校园云计算应用探讨[J];电脑知识与技术;2011年17期
9 蒋娟;姜瑜;;云计算与农村信息化建设[J];电脑知识与技术;2011年32期
10 李鑫;张鹏;;Hadoop集群公平调度算法的改进与实现[J];电脑知识与技术;2012年01期
中国重要会议论文全文数据库 前4条
1 郭炜;;业务支撑网向云计算演进的挑战[A];2011全国无线及移动通信学术大会论文集[C];2011年
2 曹沁宇;;浅谈云计算技术在客服系统中的应用[A];2011全国无线及移动通信学术大会论文集[C];2011年
3 赵炳;胥光辉;柳旭;李慧冬;;基于Hadoop平台的软件系统的测试研究[A];第十七届全国青年通信学术年会论文集[C];2012年
4 华中杰;徐锡山;杨树强;田胜利;;MapReduce本地优先作业调度策略研究与实现[A];第九届中国通信学会学术年会论文集[C];2012年
中国博士学位论文全文数据库 前10条
1 方雷;基于云计算的土地资源服务高效处理平台关键技术探索与研究[D];浙江大学;2011年
2 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
3 刘艺;应急云环境下任务导向的应急组织敏捷协作机制研究[D];暨南大学;2012年
4 王合闯;太阳风系统仿真与关键技术研究[D];成都理工大学;2012年
5 杨国才;农业农村信息化云服务平台集成关键技术研究[D];西南大学;2012年
6 曹霄洁;基于时尚知识管理的服装概念设计方法研究[D];东华大学;2013年
7 何丽;支持复杂产品快速设计的网络化零件资源库系统研究[D];新疆大学;2013年
8 霍旭光;基于云计算的大规模地形数据处理方法的研究[D];中国地质大学(北京);2013年
9 罗耀华;高性能计算在高光谱遥感数据处理中的应用研究[D];成都理工大学;2013年
10 张小庆;基于云计算环境的资源提供优化方法研究[D];武汉理工大学;2013年
中国硕士学位论文全文数据库 前10条
1 胡清;基于云计算的券商网络营销服务平台研究与设计[D];南昌大学;2010年
2 苏伟兵;个性化Web商务信息融合关键技术研究[D];浙江大学;2010年
3 申志强;基于云计算的IPv6协议应用研究[D];东北财经大学;2010年
4 贺鹏;云计算的开发云的研究与实现[D];电子科技大学;2011年
5 杨义彬;基于云计算的分布式处理框架的研究与设计[D];电子科技大学;2011年
6 赵晓辉;光学分子影像仿真平台的结构研究与设计[D];西安电子科技大学;2011年
7 赵黎斌;面向云存储的分布式文件系统关键技术研究[D];西安电子科技大学;2011年
8 杨柳;基于云计算的GIS应用模式研究[D];河南大学;2011年
9 贾文娟;基于hive分布式计算与数据挖掘的关联性营销的设计与实现[D];北京交通大学;2011年
10 严格;云计算在区域医疗信息化中的应用研究[D];北京交通大学;2011年
【同被引文献】
中国硕士学位论文全文数据库 前10条
1 施岩;云计算研究及Hadoop应用程序的开发与测试[D];北京邮电大学;2011年
2 陈艳金;MapReduce模型在Hadoop平台下实现作业调度算法的研究和改进[D];华南理工大学;2011年
3 冯卫光;基于TD-SCDMA的呼叫跟踪系统的分析与设计[D];北京邮电大学;2011年
4 余正祥;基于hadoop平台作业调度算法的研究[D];云南大学;2011年
5 王凯;MapReduce集群多用户作业调度方法的研究与实现[D];国防科学技术大学;2010年
6 曹风兵;基于Hadoop的云计算模型研究与应用[D];重庆大学;2011年
7 荆超;基于MapReduce分布式信令分析研究与实现[D];北京邮电大学;2012年
8 邓自立;云计算中的网络拓扑设计和Hadoop平台研究[D];中国科学技术大学;2009年
9 胡德勇;基于电信数据的模式挖掘与分析[D];北京邮电大学;2010年
10 付庆午;MapReduce作业的Data-Aware调度策略研究[D];吉林大学;2012年
【二级参考文献】
中国期刊全文数据库 前10条
1 曹元大,贺海军,涂哲明;中文Web文档全文检索系统的设计及实现[J];北京理工大学学报;2002年01期
2 黎春兰;邓仲华;;论云计算的价值[J];图书与情报;2009年04期
3 李德仁,龚健雅,李京伟,王密;中国空间数据基础设施建设[J];测绘通报;2002年11期
4 申胜利;李华;刘聚海;;基于ArcSDE的栅格数据存储与处理[J];测绘通报;2007年09期
5 卢丽君,廖明生,张路;分布式并行计算技术在遥感数据处理中的应用[J];测绘信息与工程;2005年03期
6 马学彬;温涛;郭权;王刚;;一种基于遗传算法的网格任务调度算法[J];东北大学学报(自然科学版);2007年07期
7 侯孟书,卢显良,周旭,詹川;非结构化P2P系统的路由算法[J];电子科技大学学报;2005年01期
8 胡峰,胡保生;并行计算技术与并行算法综述[J];电脑与信息技术;1999年05期
9 刘三民;王杰文;;空间数据存储管理研究综述[J];电脑与信息技术;2006年03期
10 李立;;GridSim网格仿真工具研究[J];电脑知识与技术(学术交流);2007年13期
中国重要会议论文全文数据库 前1条
1 秦宇强;冯秀芳;余雪丽;;网格计算中保证QoS的Agent技术[A];全国ISNBM学术交流会暨电脑开发与应用创刊20周年庆祝大会论文集[C];2005年
中国博士学位论文全文数据库 前1条
1 陈治平;智能搜索引擎理论与应用研究[D];湖南大学;2003年
中国硕士学位论文全文数据库 前10条
1 皮鹏;智能搜索引擎系统的研究[D];哈尔滨工程大学;2002年
2 陈魁;智能搜索引擎系统的分析设计与开发[D];大连理工大学;2004年
3 凌海云;基于语义网的智能搜索技术的研究与实现[D];电子科技大学;2004年
4 刘一萌;基于GridSim的网格资源调度算法研究[D];四川大学;2004年
5 刘红星;分布式系统中的文本信息检索技术研究[D];清华大学;2004年
6 吴平博;基于事件框架的主题相关文档智能检索的初步研究[D];清华大学;2004年
7 沈斌;基于分词的中文文本相似度计算研究[D];天津财经大学;2006年
8 潘照明;智能中文搜索引擎若干关键技术的研究与实现[D];浙江大学;2006年
9 孔晓波;移动增值业务商业模式的借鉴与创新[D];北京邮电大学;2006年
10 丁卫嘉;基于ORACLE GeoRaster的遥感影像库技术研究[D];中国科学院研究生院(遥感应用研究所);2006年
【相似文献】
中国期刊全文数据库 前10条
1 吴奕,闵华清;基于动态负载平衡的三层C/S计算模式研究与应用[J];计算机与数字工程;2004年01期
2 刘滨;石峰;高玉金;计卫星;宋红;;基三分层互连网络中基于受限多播树的动态负载平衡(英文)[J];Journal of Southeast University(English Edition);2008年01期
3 贾毅,陆鑫达,佘霄;基于遗传算法的动态负载平衡研究[J];计算机工程与应用;2003年12期
4 李冬梅;施海虎;顾毓清;;基于规则的分层负载平衡调度模型[J];计算机科学;2003年10期
5 袁占花;张晓波;谢红薇;;基于移动代理的并行计算动态负载平衡[J];电脑开发与应用;2006年09期
6 何青松,张颖江,何青林;防火墙负载平衡机制设计[J];计算机应用研究;2005年10期
7 徐仙伟;杨雁莹;;基于负载均衡技术的入侵检测系统研究[J];福建电脑;2007年07期
8 王煜,姚延涛,沈钧毅;基于MSCS的应用服务器动态负载平衡的实现[J];小型微型计算机系统;2002年10期
9 王明中,谢剑英;ATM网络拥塞预防的动态负载平衡策略[J];计算机工程;2000年08期
10 赵晓锋,刘利军,怀进鹏;网络入侵检测系统中动态负载平衡策略的设计[J];计算机工程与应用;2003年34期
中国重要会议论文全文数据库 前10条
1 吴再达;毛宇光;;一种分布式数据流动态负载平衡策略的研究[A];第二十四届中国数据库学术会议论文集(技术报告篇)[C];2007年
2 赵坤荣;全鼎余;林奎;杨大勇;杨剑;;面向异构环境监测网络的构件管理系统设计[A];2010中国环境科学学会学术年会论文集(第二卷)[C];2010年
3 张晶;张云生;;分层异构控制系统的构件化设计和交互作用语义描述[A];第二十六届中国控制会议论文集[C];2007年
4 郑贵洲;吴信才;晁怡;黄菊;;面向异构环境的GIS课程教学团队构建[A];中国地理信息系统协会第四次会员代表大会暨第十一届年会论文集[C];2007年
5 王晓林;刘蕊;薛建生;;一种异构环境下智能节点重叠网络的改进方案[A];第十届中国科协年会信息化与社会发展学术讨论会分会场论文集[C];2008年
6 冯锡炜;张同卫;薛峰;;基于发布/订阅方式异构环境数据交换技术[A];IT服务促进企业信息化——第十一届中国Java技术及应用交流大会文集[C];2008年
7 张佳宝;周斌;吴泉源;;基于Hadoop的并行化命名实体识别技术研究与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
8 李彬;汪泉弟;;基于多层感知器的无线传感器网络动态负载平衡[A];电工理论与新技术学术年会论文集[C];2005年
9 金松昌;方滨兴;杨树强;贾焰;;基于Hadoop的网络安全日志分析系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
10 丁辉;张大华;罗志明;;基于Hadoop的海量数据处理平台研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年
中国重要报纸全文数据库 前10条
1 ;英信NS5200异构环境耍大刀[N];计算机世界;2003年
2 孙定;云计算、大数据与Hadoop[N];计算机世界;2011年
3 本报记者 郭涛;CDP让异构容灾变简单[N];中国计算机报;2011年
4 本报记者 马文方;Hadoop:云中起舞的小象[N];中国计算机报;2010年
5 刘鹏;Cactus:在异构环境中优化应用[N];中国计算机报;2004年
6 清水;自动化网络存储快又省[N];中国计算机报;2003年
7 李永胜;将来的.NET什么样[N];中国计算机报;2005年
8 CPW记者 凡妮 冯华中;与19家ISV合作 IBM落实“随需应变”[N];电脑商报;2003年
9 本报记者 郭平;突破束缚[N];计算机世界;2002年
10 本报记者 刘洪宇;Hadoop的中国前途[N];中国计算机报;2009年
中国博士学位论文全文数据库 前10条
1 翟文正;基于模型的异构多核嵌入式系统开发研究[D];上海大学;2013年
2 姜永;异构无线网络资源管理及博弈研究[D];北京邮电大学;2012年
3 蒋建春;异构多核嵌入式软件关键问题研究[D];重庆大学;2011年
4 陈荣;面向网格计算的按需入侵检测模型及关键技术研究[D];浙江大学;2005年
5 黄樟钦;异构环境下基于OP通道技术的人—人交互系统研究[D];西安交通大学;2000年
6 孟宇龙;基于本体的多源异构安全数据聚合[D];哈尔滨工程大学;2010年
7 范鹃;异构环境下的网络选择和资源分配研究[D];中国科学技术大学;2013年
8 李伟平;异构环境下协同设计研究及其在汽车产品设计中的应用[D];湖南大学;2007年
9 叶浩;异构环境下的P2P流媒体传输策略研究[D];中国科学技术大学;2011年
10 汪小燕;无线异构网络协同工作技术研究[D];华中科技大学;2006年
中国硕士学位论文全文数据库 前10条
1 李元洪;基于反馈的动态负载平衡调度算法在Hadoop异构环境中的设计与实现[D];南京理工大学;2012年
2 李伟琦;异构环境下CAPP数据集成模式的研究与实现[D];大连理工大学;2005年
3 杨承玉;企业级数据接入平台的研究与设计[D];电子科技大学;2005年
4 魏炎炎;异构Hadoop平台性能分析及其调度算法优化研究[D];合肥工业大学;2013年
5 卓辉;异构环境下实时协同中适应性感知的研究与实现[D];浙江大学;2007年
6 张海峰;基于Rsync的异构环境数据同步机制研究[D];电子科技大学;2009年
7 朱世宇;基于CORBA互操作的企业应用集成研究[D];广西大学;2001年
8 陈田庆;软件公共技术支撑平台开发[D];西安理工大学;2007年
9 杨友兰;异构环境下的铁路货运集成客服系统设计与实现[D];复旦大学;2009年
10 严小华;数据集成中基于本体的语义异构消除研究[D];西南大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026