收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

Hadoop平台高可用性方案的设计与实现

杨帆  
【摘要】:随着互联网发展带来的数据爆炸,现在很多企业都使用分布式文件系统来搭建高性能和高扩展性的应用,存储自身海量的数据并加以分析。Hadoop就是目前比较主流的开源分布式文件系统之一,它支持海量数据存储、可扩展性强、容错性强、可以运行在廉价的商用机器上,是大多数企业的首选。但是,Hadoop并不支持高可用性,因为它采用了Master/Slave架构,其中担任Master的NameNode是Hadoop中的单点问题。本文提出了一种热备、自动故障切换的高可用性解决方案—ANC (High Availability Node Cluster),并给出了具体实现方案和评测结果。具体内容和研究成果如下: 1.介绍了Hadoop文件系统的架构,详细分析了HDFS中NameNode节点和DataNode节点的功能,包括NameNode元数据,NameNode启动流程和SafeMode状态。另外,对高可用技术的概念进行了介绍,在分析软件系统和硬件系统中的高可用技术方案基础上。我们给出了分布式文件系统中的高可用关键技术,包括系统状态监测技术、复制技术和服务连续性的处理技术。 2.分析出NameNode是Hadoop中的单点问题,研究了目前解决Hadoop高可用性的解决方案,并根据解决方案的备份机制和切换方式将它们分为五类,详细分析了每一类方案的具体实现方式。 3.详细介绍了HANC的体系架构和各个功能模块以及具体实现方式。整个系统由数据同步模块,集群管理模块和客户端访问模块组成。数据同步模块主要包括元数据同步、数据块位置信息同步和租约管理。集群管理模块包括多NameNode节点的管理和主节点宕机的处理流程。客户端访问模块负责在宕机过程中客户端的重定向。另外,本文提出了一种增大HDFS读吞吐量的策略。 4.通过实验对本文的高可用性方案进行了评估,实验结果表明故障切换时间处于一个较小值(6秒左右),并且与原生Hadoop0.20.2相比,系统读取吞吐量有所提高并且访问延迟有所降低,证明了本方案的可用性。 论文最后给出了下一步的研究方向和论文总结。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 匡华,徐丰峰;用Rose HA在小型机上实现高可用性系统[J];江西通信科技;2002年01期
2 ;IBM高可用为中小企业定制[J];每周电脑报;2002年12期
3 ;PC服务器的高可用性[J];中国计算机用户;1997年31期
4 ;IT设备重在高可用性——从HP PC服务器看可用性的实现及其要点[J];中国计算机用户;1998年41期
5 李钢,赵龙,龚雪春;FDDI冗余技术在高可用性网络工程中的应用[J];计算机工程与应用;1999年04期
6 雅君;Netfinity有备无患[J];中国计算机用户;1999年49期
7 ;Netfinity添盟友[J];每周电脑报;1999年33期
8 ;存储即计算机[J];互联网周刊;2000年16期
9 田林,白云炜;一个基于Linux LVS具有高可用性高性能可扩展负载均衡HTTP代理集群的设计与实现[J];玉溪师范学院学报;2004年08期
10 王明伟,尹康凯,李善平;高可用性集群中多个节点的热切换研究[J];计算机应用研究;2005年03期
11 平静;王蕾;;基于ROSE HA系统的双机容错方案[J];安阳师范学院学报;2006年02期
12 周丽;兰巨龙;;高性能T比特路由器高可用性的研究与实现[J];电子技术应用;2006年08期
13 向学哲;;群集系统的高可用性实时处理系统研究[J];华中师范大学学报(自然科学版);2008年02期
14 刘光霆;何宏;;基于Streams的高可用数据库系统模型研究[J];武汉理工大学学报(信息与管理工程版);2008年05期
15 姜立群;徐皑冬;宋岩;王静;;高可用性工业以太网技术的研究与实现[J];计算机工程;2009年11期
16 吴鑫;;基于开源系统的高可用性集群应用研究[J];信息系统工程;2009年09期
17 张大坤;;号码携带集中管理系统高可用性技术研究[J];电信网技术;2010年07期
18 李晓天;;天津港散货电子交易系统高可用性的实现[J];天津科技;2010年04期
19 杨曙明;;电信运营商DNS系统安全体系的构建[J];科技情报开发与经济;2010年32期
20 张子龙;张延园;范轶;;基于AdvancedTCA的高可用管理框架的设计与分析[J];计算机应用与软件;2011年01期
中国重要会议论文全文数据库 前10条
1 王伟才;张强胜;李军;庞刚;;济南电视台全台网技术架构及其高可用性技术[A];2009中国电影电视技术学会影视技术文集[C];2010年
2 王继珍;张婷;;sql server 2005数据库镜像高可用性的实现[A];湖北省通信学会、武汉通信学会2009年学术年会论文集[C];2009年
3 罗娟;曹阳;郑刚;何振;;网络应用软件中高可用性的设计与实现[A];2003年通信软件技术学术年会论文集[C];2003年
4 衣彬;李霄;张立新;沈云秋;;高可用性技术在装备信息系统可靠性工程中的应用[A];中国电子学会可靠性分会第十四届学术年会论文选[C];2008年
5 解亚龙;许巧祥;;基于J2EE架构的高可用性办公自动化系统[A];第四届中国软件工程大会论文集[C];2007年
6 马宏;王民北;;一种全分布的容错/高可用性MTP设计[A];开创新世纪的通信技术——第七届全国青年通信学术会议论文集[C];2001年
7 毕江;;电视台中型节目制作网络的服务器高可用性解决方案[A];中国电影电视技术学会影视科技论文集[C];2003年
8 王雅哲;杨晓春;王斌;于戈;;数据发布中维护敏感数据高可用性的隐私保护方法[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
9 周渝霞;;虚拟服务器技术实现信息化系统高可用性、安全性[A];2008年中华临床医学工程及数字医学大会暨中华医学会医学工程学分会第九次学术年会论文集[C];2008年
10 陆卫平;;基于生产信息系统高可用性的研究与实践[A];中国核科学技术进展报告——中国核学会2009年学术年会论文集(第一卷·第3册)[C];2009年
中国博士学位论文全文数据库 前10条
1 吴长泽;数据网格中高可用性副本管理及性能优化研究[D];重庆大学;2007年
2 刘仲;基于对象存储结构的可伸缩集群存储系统研究[D];国防科学技术大学;2005年
3 章文嵩;可伸缩网络服务的研究与实现[D];中国人民解放军国防科学技术大学;2000年
4 王红熳;智能网容灾系统设计的关键技术研究[D];北京邮电大学;2009年
5 赵铁柱;分布式文件系统性能建模及应用研究[D];华南理工大学;2011年
6 林琳;基于网格数据交换区的网格作业性能优化[D];吉林大学;2011年
7 张小芳;大规模分布式环境下集群管理系统的研究与实现[D];西北工业大学;2007年
8 吉萌;高性能业务路由器系统软件研究[D];华中科技大学;2006年
9 高文;服务器聚集系统中高可用性分析与设计方法[D];中国科学院研究生院(计算技术研究所);2001年
10 孔华锋;基于主动网络技术的存储网络关键技术的研究[D];华中科技大学;2004年
中国硕士学位论文全文数据库 前10条
1 杨帆;Hadoop平台高可用性方案的设计与实现[D];北京邮电大学;2012年
2 刘春平;高可用性及其在虚拟操作环境系统中的应用[D];西北工业大学;2003年
3 谭石强;网上报名系统中数据库高可用性的研究与应用[D];广东工业大学;2006年
4 宋晓燕;实现自律计算的高可用性系统的研究与开发[D];西北工业大学;2004年
5 王磊;基于SAN技术的存储管理系统的研究与开发[D];西北工业大学;2006年
6 张洪武;服务器集群与均衡技术研究[D];重庆大学;2004年
7 高峰;实现智能管理的高可用性虚拟操作环境的研究与开发[D];西北工业大学;2005年
8 郑伟;服务器集群系统高可用性研究及管理软件的实现[D];武汉大学;2004年
9 姚翌;银行交易系统中高可用性技术研究与应用[D];厦门大学;2008年
10 李程远;高性能PC集群的研究与应用[D];浙江大学;2004年
中国重要报纸全文数据库 前10条
1 江源;IBM发布金融行业新战略[N];中国财经报;2007年
2 ;轻松扩展SAN[N];网络世界;2003年
3 ;保持系统正常的九剂“猛药”[N];中国计算机报;2002年
4 ;保证通信网络持续运营[N];中国计算机报;2004年
5 沈建苗 编译;提高Java企业应用的可用性[N];计算机世界;2006年
6 刘春辉;如何通过转型创建业务优势[N];人民邮电;2006年
7 ;Nortel Passport 8600 高性能和高可用性的完美结合[N];计算机世界;2002年
8 本报记者 霞文;成为高可用性电源保护专家[N];通信产业报;2002年
9 周向明;集群推动Linux向高端[N];网络世界;2002年
10 中科院计算所研究员 中国电源学会副理事长 张广明;数据中心统筹设计技术[N];中国计算机报;2007年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978