收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

Hadoop应用快速开发平台的设计与实现

李熙文  
【摘要】:近年来,Hadoop已被广泛的应用于分布式系统的实现。我们可以通过hadoop系统搭建出很多高质量的分布式系统平台。hadoop系统包含了很多的子项目,也有很多对它功能进行扩充的相关项目,比如ZooKeeper, Hive, Hbase等。 使用hadoop的时候用户会遇到种种问题:比如需要学习hadoop专用的语言,需要学习调用hadoop的api, hadoop集群配置相对繁琐;再比如要去学习编写mapreduce的task,这些都是用户使用hadoop时候的难点。所以需要一个能够支持hadoop应用快速开发的平台。 本文提出了一个hadoop应用快速开发平台,其研究目的在于将hadoop的并行计算能力以模板化可重用的方式提供给用户。该系统应用了目前主流的云计算技术,有很强的的扩展性、可靠性。根据不同用户对hadoop程序的不同需求,定制不同的hadoop模板,以后可以多次重用。对于hadoop用户来说,支持用户浏览过去执行结果的历史记录,而不是每次执行相同的重复的程序。 本系统简化了hadoop程序编译部署的过程:无需手动打包和手动拷贝,用户只需要选择固定的模板并进行配置,之后指定数据源,模板程序就可以建立成功。后面包括程序的打包和上传,数据的上传,hadoop运行指令的执行,计算结果以可视化的形式展现等等一系列操作全部都由hadoop应用快速开发平台完成。 论文首先介绍了hadoop、并行计算等概念,介绍了hadoop的发展情况,以及hadoop应用快速开发平台的背景与意义;接下来对hadoop应用快速开发平台开发中涉及的技术进行了详细介绍;接着,针对几个关键技术场景,通过比较给出解决方案;解决了关键技术问题之后,本文详细介绍了系统中各功能模块的交互以及消息数据处理流程,着重阐述了各个功能模块的实现。本文最后对hadoop并行计算框架系统的功能测试与性能数据分析进行了介绍,提出了改善方案以及未来的工作。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 柳絮飞;化繁为简——轻轻松松用模板之Photoshop篇[J];电脑爱好者;2001年24期
2 李永锋;谷川;;一种模板化的Web打印方法的设计与实现[J];计算机应用与软件;2010年04期
3 渠芳;王凯;王辉;;利用X-S-S-E模板实现图书馆个性化推送系统[J];现代情报;2006年06期
4 郑长松;傅彦;佘莉;;基于模板的Web信息自动提取方法[J];计算机应用研究;2009年02期
5 王卫兵;王金生;应富强;;基于加工模板的快速编程[J];机械制造;2008年09期
6 国雯;边志琨;王子建;;探析北京奥运会中央电视台奥运报道系统在线包装[J];现代电视技术;2008年12期
7 时达明;林鸿飞;赵晶;;基于模板化的Blog信息抽取[J];计算机工程与应用;2008年09期
8 王姝;汪文虎;裴景东;成浪永;;基于参数化模板的压气机树脂叶片成形工装设计[J];铸造;2013年06期
9 戴鸿高;;有线网络工程项目管理系统的建设[J];中国有线电视;2013年10期
10 李希光;解剖一篇宣传式新闻[J];新闻记者;2003年07期
11 施伟锋;基本总线下键盘与显示器接口模板[J];上海海运学院学报;1996年03期
12 ;[J];;年期
13 ;[J];;年期
14 ;[J];;年期
15 ;[J];;年期
16 ;[J];;年期
17 ;[J];;年期
18 ;[J];;年期
19 ;[J];;年期
20 ;[J];;年期
中国重要会议论文全文数据库 前3条
1 杨雪松;肖梅;林娜;;PCS7 6.0模板化编程方法[A];冶金轧制过程自动化技术交流会论文集[C];2005年
2 何宏林;徐本柱;刘晓平;;基于模板的线束工艺协同设计研究[A];全国第21届计算机技术与应用学术会议(CACIS·2010)暨全国第2届安全关键技术与应用学术会议论文集[C];2010年
3 国雯;边志琨;王子建;;探析北京奥运会中央电视台奥运报道系统在线包装[A];2009中国电影电视技术学会影视技术文集[C];2010年
中国博士学位论文全文数据库 前1条
1 孙巍;基于水滴模板法构建微纳复合功能界面的研究[D];浙江大学;2010年
中国硕士学位论文全文数据库 前7条
1 李熙文;Hadoop应用快速开发平台的设计与实现[D];北京邮电大学;2015年
2 王峰;C++类模板关系的抽象描述语言的设计[D];长沙理工大学;2008年
3 蒋伟文;SAP模板化推广实施的策略研究和方法设计[D];华东理工大学;2014年
4 唐宏维;基于模板的WEB信息自动生成技术应用研究[D];北方工业大学;2010年
5 郭杰;连连乐模板语言TemplateBuilder的数据库模板设计及实现[D];第四军医大学;2009年
6 邢华;数字出版系统中模板化功能的研究及实现[D];华南理工大学;2013年
7 姬一文;基于模板引擎的协同浏览系统的研究与实现[D];国防科学技术大学;2010年
中国重要报纸全文数据库 前6条
1 浙江新杰克缝纫机股份有限公司技术研发专家 王恒敏 朱志武;模板化缝制技术提升竞争力[N];中国服饰报;2009年
2 王利中 卢功科;“模板化”不可“模式化”[N];解放军报;2003年
3 浙江新杰克缝纫机股份有限公司技术研发专家 王恒敏 朱志武;“模板化缝制”捧红电子花样机[N];中国服饰报;2009年
4 赵珺 黄鸣;深圳以“模板化”促进规范化[N];政府采购信息报;2006年
5 本报记者 李歌 陈凌鹭 实习生 谢紫苹;取材用料模板化 名贵树有“适应期”[N];泉州晚报;2012年
6 通讯员 杨淑花;昌吉销售账表模板化推进规范管理[N];中国石油报;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978