收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Eucalyptus云平台的Hadoop集群研究

谢桂兰  
【摘要】:云计算(Cloud Computing)是当前国内外的研究热点之一,是并行计算、网格计算和分布式计算的发展,已成为一种新型的商业计算模式,很多大公司都投入了这一领域的研究,如Google,IBM,微软等等。云计算通过互联网将超大规模的计算、存储资源整合起来,形成一个虚拟的计算资源池并以服务的形式按需提供给用户,使得人们可以方便地通过网络获取强大的计算能力、存储能力以及基础设施。云计算可以有效解决分析与处理海量数据时面临的问题,并提供了可靠性高、可扩展的数据处理存储中心,在降低了终端设备要求的同时提高了处理数据的能力。因此将消耗大量计算资源的复杂计算如海量数据的处理,通过网络分布到多节点上进行计算的方式成为新的有效的解决方案。 开源的分布式计算Hadoop系统已经为云计算的具体实现提供了宝贵的经验。Hadoop是Apache开源组织的一个分布式计算开源框架,已在亚马逊、Facebook、百度、Yahoo等多个大型网站上得到应用。Hadoop框架中最核心的设计是MapReduce和HDFS。MapReduce的思想是“任务的分解与结果的汇总”,即首先将一个任务分解为多个子任务,然后把子任务调度到多个集群节点上执行,最后再将结果加以汇总。HDFS是Hadoop分布式文件系统的缩写,为分布式计算存储提供了底层支持。 本文研究了云计算的的相关理论、云计算的特点和优势、云计算的关键技术及开源私有云计算平台Eucalyptus,探索了分布式开源框架Hadoop的运行机制和原理。在此基础上研究MapReduce编程模型及其编程方法和建立在Hadoop上的数据仓库基础构架Hive,进一步提出了基于Hadoop的MapReduce分布式编程模型和基于Hive来处理海量数据级别的日志文件的方法。本文还利用开源私有云计算平台Eucalyptus搭建了实验室的私有云,以及搭建了分布式计算平台Hadoop,并将Hadoop集群整合到Eucalyptus私有云上。本文还深入研究了Hadoop集群的动态伸缩方法,主要包括Hadoop集群节点的动态增加及增加节点后的负载均衡方法,以及从集群中移除节点的研究,并提出了心跳检测策略和负载均衡策略,从而提出了一种基于Eucalyptus云上的Hadoop集群弹性伸缩系统设计方案,可以根据一些策略,如心跳检测和负载均衡策略进行弹性伸缩而无需人工干预,并实现了整个弹性伸缩框架原型系统。本文关于开源软件Eucalyptus、Ganglia和Hadoop三者相结合的研究,形成了一套商业化的云计算产品解决方案和实现方法。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 马少兵;马自卫;;数字图书馆私有云平台的构建研究和应用开发[J];现代图书情报技术;2011年04期
2 朱莉;王鹏;;云计算在高校的部署与应用研究——以开源云计算产品Eucalyptus为例[J];吉林师范大学学报(自然科学版);2011年02期
3 陈吉荣;;构建私有云计算平台的EUCALYPTUS架构分析[J];电脑知识与技术;2010年15期
4 闫格;;基于云计算架构的高校实验室设计与实施[J];漳州师范学院学报(自然科学版);2011年03期
5 曾龙海;张博锋;张丽华;何冰;吴耿锋;徐炜民;;基于云计算平台的虚拟集群构建技术研究[J];微电子学与计算机;2010年08期
6 任彬彬;周选昌;;Eucalyptus2.0云计算平台在Linux上的实现[J];科技情报开发与经济;2011年16期
7 祖研;帅仁俊;陈平;;基于分布式文件系统的图片存储服务的研究[J];通信技术;2011年04期
8 周轶男;王宇;;Hadoop文件系统性能分析[J];电子技术;2011年05期
9 吴宝贵;丁振国;;基于Map/Reduce的分布式搜索引擎研究[J];现代图书情报技术;2007年08期
10 李克然;刘东苏;邓媛;;电子商务环境下海量数据存储模型[J];情报杂志;2010年S2期
11 高宏卿;翟炎杰;;基于Hadoop的移动学习模型研究[J];中国电化教育;2011年01期
12 郑欣杰;朱程荣;熊齐邦;;基于MapReduce的分布式光线跟踪的设计与实现[J];计算机工程;2007年22期
13 李呈栋;戴跃发;王伟;吴波;;Hadoop框架下的容灾系统研究[J];电脑知识与技术;2009年28期
14 谢桂兰;罗省贤;;基于Hadoop MapReduce模型的应用研究[J];微型机与应用;2010年08期
15 洪沙;杨深远;;云计算关键技术及基于Hadoop的云计算模型研究[J];软件导刊;2010年09期
16 胡志刚;梁晓扬;;基于Hadoop的海量网格数据建模[J];计算机系统应用;2010年10期
17 林立宇;陈云海;;基于云计算的电子商务推荐平台的构建分析[J];广东通信技术;2010年11期
18 王敬昌;;基于Hadoop分布式计算架构的海量数据分析[J];数字技术与应用;2010年07期
19 宁可为;王炜;李园伟;;基于Hadoop的句群相似度计算[J];计算机系统应用;2010年12期
20 曹英忠;谢晓兰;赵鹏;;基于Hadoop的云存储实践[J];现代计算机(专业版);2011年24期
中国重要会议论文全文数据库 前10条
1 Osman Khalil;;Lasiodiplodia theobromae Associated with Gummosis in Eucalyptus spp in the Sudan[A];中国科学院地质与地球物理研究所第十届(2010年度)学术年会论文集(中)[C];2011年
2 沈腾飞;马自卫;;基于GridSphere的Eucalyptus后台管理系统研究与实现[A];第十六届全国青年通信学术会议论文集(上)[C];2011年
3 曾龙海;张博锋;张丽华;何冰;吴耿锋;徐炜民;;基于云计算平台的虚拟集群构建技术研究[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年
4 张佳宝;周斌;吴泉源;;基于Hadoop的并行化命名实体识别技术研究与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
5 ;Effects on Soil Polyphenol Oxidase Activities and Phenol Content of Eucalyptus Growing[A];中国第五届植物化感作用学术研讨会论文摘要集[C];2011年
6 金松昌;方滨兴;杨树强;贾焰;;基于Hadoop的网络安全日志分析系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
7 丁辉;张大华;罗志明;;基于Hadoop的海量数据处理平台研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年
8 林佳烨;;云计算在电信行业数据分析领域的应用[A];广东通信2010青年论坛优秀论文集[C];2010年
9 李宗波;李冰;欧晓红;邵维福;;入侵种桉材小蠹的为害特征及空间分布[A];云南省昆虫学会2011年学术年会论文集[C];2011年
10 杨梅;黄晓露;;桉树连作对土壤多酚氧化酶活性及酚类物质含量的影响[A];中国第五届植物化感作用学术研讨会论文摘要集[C];2011年
中国博士学位论文全文数据库 前10条
1 杨钙仁;桉树人工林对林区地表水的影响[D];广西大学;2012年
2 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
3 张华峰;桉树枝瘿姬小蜂侵害机理及寄主桉树化学防御研究[D];福建农林大学;2013年
4 陈全助;福建桉树焦枯病菌鉴定及其诱导下桉树转录组和蛋白组学研究[D];福建农林大学;2013年
5 罗建中;桉树杂种无性系纸浆材性状的遗传与环境效应研究[D];南京林业大学;2012年
6 王伟;桉树对枝瘿姬小蜂抗性及其机制研究[D];中国林业科学研究院;2012年
7 何旭东;桉树杂种优势及其分子标记辅助选择研究[D];南京林业大学;2010年
8 周家维;贵州南部桉树引种与施肥效果研究[D];中国林业科学研究院;2011年
9 吴世军;尾叶桉及其杂种无性系遗传变异与选择研究[D];中国林业科学研究院;2012年
10 欧阳乐军;aiiA基因克隆及在尾巨桉中的诱导表达研究[D];湖南农业大学;2012年
中国硕士学位论文全文数据库 前10条
1 谢桂兰;基于Eucalyptus云平台的Hadoop集群研究[D];成都理工大学;2011年
2 张弛;基于Eucalyptus的教育知识服务模型设计与实现[D];河南师范大学;2011年
3 沈腾飞;Eucalyptus虚拟机管理系统的研究与实现[D];北京邮电大学;2011年
4 张允祥;基于Eucalyptus的对象存储系统的设计与实现[D];华中科技大学;2011年
5 刘曌;基于云计算的海量视频转换平台的设计与实现[D];大连理工大学;2011年
6 赵美凯;基于Eucalyptus的数字图书馆私有云服务系统的研究与实现[D];北京邮电大学;2012年
7 陈殿伟;基于Hadoop的虚拟筛选海量数据存储及结果处理的设计和实现[D];兰州大学;2012年
8 邰建华;Hadoop平台下的海量数据存储技术研究[D];东北石油大学;2012年
9 董长春;基于Hadoop的倒排索引技术的研究[D];辽宁大学;2011年
10 翟炎杰;基于Hadoop的移动学习系统设计与实现[D];河南师范大学;2011年
中国重要报纸全文数据库 前10条
1 孙定;云计算、大数据与Hadoop[N];计算机世界;2011年
2 本报记者 马文方;Hadoop:云中起舞的小象[N];中国计算机报;2010年
3 本报记者 刘洪宇;Hadoop的中国前途[N];中国计算机报;2009年
4 ;华胜天成:提供异地数据切换[N];计算机世界;2004年
5 ;开源云API竞争大幕开启[N];网络世界;2010年
6 ;深腾2600商用机群服务器[N];计算机世界;2003年
7 ;QA派对[N];电脑报;2004年
8 ;VERITAS助力联通CDMA系统[N];中国计算机报;2002年
9 ;永不停顿的“风云”[N];中国计算机报;2002年
10 尚星;“风云”背后的双机热备[N];计算机世界;2002年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978