收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

Hadoop分布式架构的研究与实际应用

秦滔  
【摘要】:在当今的技术领域,大数据是个热门的IT流行词语。为了减轻处理大量数据时的复杂度, Apache开发了Hadoop——一个可靠的、可扩展的分布式计算框架。Hadoop分布式架构能够轻松应对二十世纪的大数据挑战,这些数据包含结构化和非结构化的数据,而且Hadoop分布式架构还能大规模并行处理这些海量数据。因此对Hadoop、以及其重要组成部件:Hadoop分布式文件系统和MapReduce(Google MapReduce的开源实现)有一个基本的认识很有必要。在对Hadoop分布式文件系统和MapReduce有了一定认识的基础上,对如何提高Hadoop稳定性进行研究,并尝试优化其性能。 在本文中,首先对文章论题的研究背景、研究内容和研究目的进行了讨论,探究Hadoop在二十一世纪不可或缺的重大作用;在这个理论基础上,进行了Hadoop分布式架构系统的搭建,以及在Hadoop分布式架构中加载HBase、Hive等模块,并分析解决Hadoop集群搭建与运行中常常遇到的问题;然后进一步对Hadoop分布式文件系统进行分析与研究,分析常用的读写方式;最后对HDFS在实际应用中可能存在的优化点进行探讨,进行理论研究,然后在研究的基础上,基于已经搭建好的Hadoop集群进行测试。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 许翠苹;;山石网科:全新分布式架构护航云计算[J];通讯世界;2013年16期
2 张嗣锋;曹平;张可立;宋克柱;;基于分布式架构的高精度海上工程地震勘探数据获取系统设计与实现[J];中国科学技术大学学报;2011年01期
3 欧伟新;陈国忠;;云计算及其分布式架构[J];电信快报;2012年01期
4 ;趋势产业防毒我先行[J];中国计算机用户;2002年34期
5 王晓博;;威邦私有云监控关键技术[J];移动通信;2013年10期
6 徐华;;基于分布式架构的AS组网优化研究[J];移动通信;2012年18期
7 万泽春;;大数据的应用与解决方案浅析[J];电脑知识与技术;2013年27期
8 Guillemette Paour;;汽车保护系统中的分布式架构[J];电子设计技术;2010年08期
9 庄表伟;;云中漫步[J];科技创业;2011年07期
10 刘丹;程晓;侯德林;;一种基于RMI的分布式架构设计[J];计算机应用与软件;2007年09期
11 沈瀚涛;韩全;熊永革;;基于分布式架构的快速诊断测试技术研究[J];计算机测量与控制;2012年03期
12 高丹;;基于三层分布式架构的JSP连锁超市系统开发[J];福建电脑;2013年11期
13 刘彤;张雪飞;陈骏辉;;基于CSLA分布式架构的人力资源解决方案[J];电脑知识与技术;2011年10期
14 陈华政;曾庆斌;陈剑;;一种SQL在线自动评判系统的实现[J];科技和产业;2013年04期
15 董洛兵;尚博;李玉斌;;SOA和Web Service的区别[J];电脑知识与技术;2008年10期
16 ;eDEC云龙电子数据检验系统2013中国首发[J];人民检察;2013年14期
17 梁智雄;;基于分布式架构的内网监控系统的应用与研究[J];电脑与电信;2008年06期
18 ;cDEC云龙 电子数据检验系统 2013中国首发[J];人民检察;2013年12期
19 姚健,薄亚明;基于COM+的远程动态实时交互系统的研究[J];电脑学习;2002年01期
20 魏凯;;关键技术环节不断完善我国企业还需找准方向重点突破[J];世界电信;2014年Z1期
中国重要会议论文全文数据库 前2条
1 肖乐斌;秦勇;胡继华;;铁路GIS分布式架构的设计与试验[A];中国地理信息系统协会第三次代表大会暨第七届年会论文集[C];2003年
2 阎姗;王文力;苏毅;邓峰;郭云峰;唐星;;分布式架构在企业级IPTV管理系统中的应用[A];2008通信理论与技术新发展——第十三届全国青年通信学术会议论文集(下)[C];2008年
中国硕士学位论文全文数据库 前7条
1 王建凯;基于分布式架构的网络入侵检测系统研究与实现[D];北京邮电大学;2014年
2 刘丹;一种基于RMI的分布式架构研究及其在MIS开发中的应用[D];华中师范大学;2004年
3 秦滔;Hadoop分布式架构的研究与实际应用[D];北京邮电大学;2015年
4 陈杰;基于分布式架构的实体匹配技术[D];华东师范大学;2014年
5 赵一鸣;分布式架构下的海量文本特征分类研究[D];北京邮电大学;2014年
6 潘翔;高速公路ETC联网收费系统的实现[D];电子科技大学;2013年
7 张佶;基于可扩展分布式架构的高校搜索引擎研究与实现[D];东华大学;2010年
中国重要报纸全文数据库 前10条
1 《网络世界》特约撰稿人 逸凡;万里云天剑百尺[N];网络世界;2014年
2 王越平;Dominion KX II、PX联手支撑B&Q特力屋连锁运营[N];通信产业报;2008年
3 ;无线网络优化四式[N];网络世界;2007年
4 本报记者 程彦博;全分布式架构:性能随CPU线性扩展[N];中国计算机报;2013年
5 周斌;分布式架构在电信业的应用[N];人民邮电;2004年
6 IBM大中华区云计算中心总经理 朱近之;九大特征辨识云计算[N];中国计算机报;2010年
7 本报记者 赵齐;云计算是工具 不是神[N];国际商报;2011年
8 ;3Com XRN互联模块让企业网按需购买 渐进扩展 [N];中国计算机报;2002年
9 本报记者 王博;虚拟桌面新竞争 省钱省力[N];计算机世界;2013年
10 张小可;杰赛云之路[N];通信产业报;2011年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978