收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

集群计算效率约束下的HADOOP鲁棒性优化研究

陈智  
【摘要】:随着科技的不断发展以及全球数据量的激增,云存储与云计算是未来的发展趋势,传统数据库对数据的处理已经越来越不能满足个人与企业用户的要求,对于海量数据,业界大数据存储及分布式处理系统最有代表性的就是Hadoop。Hadoop在最近几年迅猛发展,它是一个具有可靠性、高效性、可伸缩性的能够对大量数据进行分布式处理的开源软件框架。 由于设计Hadoop之初是假设集群所有机器都是同构的,而现实中,Hadoop集群是有许多廉价机器组成,这就导致了集群中的节点计算能力的差异以及节点容易失效的问题,虽然Hadoop为了防止计算任务和数据存储可能会失败而维护了多个数据副本,以提高集群的容错能力与可靠性。但是在预测节点失效与数据副本放置以及任务调度上仍然需要完善和改进。 为了提高Hadoop集群的鲁棒性,本文在不同性能的节点执行任务效率的差异下对其鲁棒性进行了优化,研究的主要内容如下: (1)针对Hadoop在任务节点的选取与数据副本放置时未考虑节点未来可能会失效的问题,提出了Hadoop节点故障预测模型,对集群中的节点进行了故障率预测。 (2)通过节点故障预测模型,对于Hadoop任务调度进行了优化以及提出了关于数据副本放置的节点选择策略算法。解决了默认算法未考虑节点异构性而造成的计算能力差异的问题,提高了集群的鲁棒性。 (3)对于集群中执行任务次数较少以及通过节点故障预测模型判断出高故障率的节点,建立了休眠机制,解决了该类节点的处置问题。 (4)通过搭建Hadoop集群验证了故障预测模型在集群计算效率约束下的有效性,本文所提出的方法提高了Hadoop集群的鲁棒性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 李强;;一种基于诊断融合技术的传感器节点故障诊断[J];科技通报;2013年04期
2 孙德印;孙铁强;;彩电检修的新方法——“节点”分析法[J];家电检修技术;2003年08期
3 李斌,张阳;节点与屏幕墙[J];现代电视技术;2004年06期
4 张启忠;席旭刚;;基于粗糙集分解的传感器网络节点故障诊断方法[J];杭州电子科技大学学报;2010年04期
5 刘茂立;邓忠良;;基于选择关键节点的网络易损性评估法[J];舰船电子工程;2011年01期
6 高志鹏;黄日茂;陈颖慧;芮兰兰;;一种无线传感器网络节点故障的检测方法(英文)[J];中国通信;2011年01期
7 张劼;景博;张宗麟;孙勇;陈明;;无线传感器网络中基于比较的簇节点故障诊断算法[J];传感技术学报;2007年08期
8 王俊;刘刚;;基于时间序列和神经网络的温室传感器节点故障诊断[J];中国农业大学学报;2011年06期
9 李宏慧;付学良;;可扩展的节点保护的预连接圆的设计[J];内蒙古农业大学学报(自然科学版);2012年02期
10 耿军;;节点故障无碍系统——Frank Van谈西门子OTN的应用优势[J];每周电脑报;2003年44期
11 惠蕾放;盛敏;;Ad Hoc分群网络节点故障补偿算法[J];电讯技术;2006年04期
12 雷霖;代传龙;王厚军;;基于Rough set理论的无线传感器网络节点故障诊断[J];北京邮电大学学报;2007年04期
13 周晏;尚鹏;;基于人工鱼群聚类的传感器节点故障诊断[J];计算机测量与控制;2013年05期
14 尚兴宏;尚曦乐;章静;钱焕延;;无线传感器节点的故障诊断研究[J];计算机科学;2013年S1期
15 吴志盛;刘枫;;基于模糊推理的WIA-PA节点故障诊断[J];计算机测量与控制;2011年01期
16 雷霖;代传龙;王厚军;赵旭;;粗糙集-神经网络集成的WSN节点故障诊断[J];电子科技大学学报;2008年04期
17 李彬;黄善国;张永军;顾畹仪;;WDM光网络中基于两跳转发的节点增补圈算法[J];华中科技大学学报(自然科学版);2009年12期
18 余成波;李芮;何强;余磊;谭俊;;基于粒子群算法及高斯分布的WSN节点故障诊断[J];振动.测试与诊断;2013年01期
19 赵娟;郭平;邓宏钟;谭跃进;;节点相依失效下的方格网络可靠性建模与分析[J];系统工程与电子技术;2013年07期
20 韩小祥;王雪梅;;基于改进MDLP算法和分子布朗运动优化的传感器节点故障诊断[J];计算机测量与控制;2013年12期
中国博士学位论文全文数据库 前1条
1 刘丽萍;无线传感器网络节能覆盖[D];浙江大学;2006年
中国硕士学位论文全文数据库 前10条
1 吴志盛;工业无线网络节点故障诊断技术研究[D];西南大学;2011年
2 王伟华;高速高空作战节点关键组网技术设计研究[D];南京理工大学;2012年
3 刘伟;基于节点稳定性和拥塞控制的GPSR协议研究[D];南京理工大学;2014年
4 俞靓;保障覆盖连通质量的节点部署机制[D];浙江大学;2009年
5 朱海洋;基于粗糙神经网络的WSN节点故障诊断[D];电子科技大学;2010年
6 姚玉锋;基于信息融合的WSN节点故障诊断方法研究[D];西安电子科技大学;2013年
7 徐德凯;基于小波神经网络的无线传感网络(WSN)节点故障诊断技术[D];电子科技大学;2008年
8 闫丹;基于人工免疫的无线传感器网络节点故障诊断[D];电子科技大学;2009年
9 纪磊;无线Mesh网络故障诊断与恢复研究[D];福建师范大学;2013年
10 曹传嵩;恶劣环境下一种数据敏感的传感器节点故障检测技术研究[D];哈尔滨工业大学;2013年
中国重要报纸全文数据库 前3条
1 清华大学信息技术研究院 鞠大鹏 刘川意 汪东升 清华大学-威视数据安全研究所 侯海波;远程集群技术: 让你的应用不间断[N];计算机世界;2006年
2 ;群集技术迎接数据库的挑战[N];网络世界;2002年
3 ;802.11s无线Mesh的好处[N];网络世界;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978