收藏本站
《北京邮电大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

云计算研究及Hadoop应用程序的开发与测试

施岩  
【摘要】:随着计算机物理性能已基本达到极致,摩尔定律基本失效,这一问题直接导致研究人员不得不绞尽脑汁以进一步提高计算机的运算性能,在此基础上出现了一机双核,一机四核的家用机,以此来达到通过并行计算提高计算机性能,实际上这种尝试被认为是可行的,并且是成功的。 在并行计算、互联网技术、虚拟化等诸多技术的日趋成熟,及对高性能、高存储、高可靠性、高扩展性的服务器的追求,便催生出云计算的概念。2007年,由Google率先提出商业云计算的概念,其主要实现形式是将若干台廉价机相互连接,协同操作,其性能可匹配或临架于价格昂贵的超级服务器。同年IBM,微软,雅虎,HP等IT业巨头也相继加入云计算发展中,目前所有IT行业巨头都将云计算作为未来发展的主要战略之一,另外所有商业媒体也都对云计算的发展前景持乐观态度,如此可见云计算的商业前景和应用需求已经毋庸置疑。 本文主要介绍云计算的产生,发展及现状、网格计算同云计算的相似点与不同点、并行计算语言MPI与Erlang、云计算的层次结构、IBM、微软、亚马逊等大公司对云计算的应用现状、开源云计算平台Hadoop的整体框架。并介绍了Hadoop中的两个最主要部分:MapReduce和HDFS,其中详细分析了Hadoop中的MapReduce的源代码,及MapReduce的操作流程,搭建了Hadoop的运行环境及开发环境,并在此基础之上开发了Hadoop云计算平台的管理软件,并详细介绍如何编写MapReduce框架的程序。 本文工作重点: 1.本文工作重点主要是对Hadoop中MapReduce部分的源代码分析,及在MapReduce过程中JobTracker与TaskTracker之间的调用关系。 2.设计并编写了一个简单的管理Hadoop的程序,其主要功能有启动/关闭Hadoop、显示Hadoop节点信息、配置并显示Hadoop环境变量、运行基于MapReduce框架下的程序等功能。 3.对于Hadoop中的任务调度算法进行了研究并设计了一个新的调度算法,该调度算法不同于传统的FIFO、时间片轮询、优先级等机制,更加的灵活。 本文尝试着将MapReduce运行机理、流程分析的比较透彻,并编写一个可以让不懂得Hadoop命令的程序员也可以在该平台上顺利编写MapReduce程序的平台。
【学位授予单位】:北京邮电大学
【学位级别】:硕士
【学位授予年份】:2011
【分类号】:TP311.1

【引证文献】
中国期刊全文数据库 前4条
1 郑文武;李先绪;黄执勤;;云计算中的并行计算技术分析[J];电信科学;2011年12期
2 黎宏剑;刘恒;黄广文;卜立;;基于Hadoop的海量电信数据云计算平台研究[J];电信科学;2012年08期
3 柳俊;;基于Hadoop的海量教学资源存储平台的设计与研究[J];电脑与电信;2013年07期
4 郝晓飞;谭跃生;王静宇;;Hadoop平台上Apriori算法并行化研究与实现[J];计算机与现代化;2013年03期
中国硕士学位论文全文数据库 前10条
1 王东方;面向云计算的设备故障诊断系统关键技术研究[D];郑州大学;2012年
2 徐娟娟;基于NoSQL的Web日志分析系统的设计[D];安徽理工大学;2012年
3 邰建华;Hadoop平台下的海量数据存储技术研究[D];东北石油大学;2012年
4 王章;海量历史数据库系统研究[D];华中科技大学;2012年
5 张宁宁;异构环境下云计算数据副本动态管理研究[D];郑州大学;2013年
6 朱朝鹏;基于云计算的远程诊断关键技术研究[D];郑州大学;2013年
7 赵茹;MapReduce框架下的聚类和凸包算法研究与实现[D];成都理工大学;2013年
8 曹旭;Hadoop平台下海量日志数据处理模型的研究及改进[D];浙江理工大学;2013年
9 胡文静;基于Hadoop的呼叫追踪模拟系统的研究与应用[D];武汉理工大学;2013年
10 张学浪;基于Hadoop的海量图像检索关键技术研究[D];西北农林科技大学;2013年
【参考文献】
中国期刊全文数据库 前10条
1 郑欣杰;朱程荣;熊齐邦;;基于MapReduce的分布式光线跟踪的设计与实现[J];计算机工程;2007年22期
2 栾亚建;黄翀民;龚高晟;赵铁柱;;Hadoop平台的性能优化研究[J];计算机工程;2010年14期
3 王凯;吴泉源;杨树强;;一种多用户MapReduce集群的作业调度算法的设计与实现[J];计算机与现代化;2010年10期
4 齐虎春;;云计算从概念到应用的研究[J];内蒙古科技与经济;2010年15期
5 许春玲;张广泉;;分布式文件系统Hadoop HDFS与传统文件系统Linux FS的比较与分析[J];苏州大学学报(工科版);2010年04期
6 孙广中;肖锋;熊曦;;MapReduce模型的调度及容错机制研究[J];微电子学与计算机;2007年09期
7 林清滢;;基于Hadoop的云计算模型[J];现代计算机(专业版);2010年07期
8 吴宝贵;丁振国;;基于Map/Reduce的分布式搜索引擎研究[J];现代图书情报技术;2007年08期
9 杨代庆;张智雄;;基于Hadoop的海量共现矩阵生成方法[J];现代图书情报技术;2009年04期
10 陈勤;方海英;褚一平;黄剑军;;基于MapReduce模型的分布式Word文档破解[J];计算机系统应用;2010年03期
中国重要报纸全文数据库 前1条
1 中国科学院计算所 李国杰;[N];计算机世界;2001年
【共引文献】
中国期刊全文数据库 前10条
1 杨振东;王晋川;郑冀;刘科;;面向云计算的油料供应管理系统构架[J];重庆理工大学学报(自然科学);2011年09期
2 胡光民;周亮;柯立新;;基于Hadoop的网络日志分析系统研究[J];电脑知识与技术;2010年22期
3 开华东;田琪;;基于MapReduce集群的加权公平队列调度算法研究[J];电脑知识与技术;2011年09期
4 李鑫;张鹏;;Hadoop集群公平调度算法的改进与实现[J];电脑知识与技术;2012年01期
5 王皎;刘闫锋;;Hadoop集群参数的自动调优[J];电脑知识与技术;2012年12期
6 许春玲;张广泉;;基于主流云计算技术的集群三元空间提取方法[J];电信科学;2010年10期
7 包盛;段保通;邵锋军;;三网融合下基于云计算的实时转码技术研究和应用[J];电信科学;2011年03期
8 王锴;施水才;王涛;吕学强;;基于MapReduce的术语权重计算方法研究[J];电信科学;2011年11期
9 孙福权;张达伟;程勖;刘超;;基于Hadoop企业私有云存储平台的构建[J];辽宁工程技术大学学报(自然科学版);2011年06期
10 曾理;王以群;;Hadoop集群和单机数据处理的耗时对比实验[J];硅谷;2009年19期
中国重要会议论文全文数据库 前4条
1 丁辉;张大华;罗志明;;基于Hadoop的海量数据处理平台研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年
2 王斌;;移动互联网定位技术分析及融合方式探讨[A];2012全国无线及移动通信学术大会论文集(下)[C];2012年
3 华中杰;徐锡山;杨树强;田胜利;;MapReduce本地优先作业调度策略研究与实现[A];第九届中国通信学会学术年会论文集[C];2012年
4 田胜利;徐锡山;杨树强;华中杰;;针对HBase的MapReduce访问接口的优化[A];第九届中国通信学会学术年会论文集[C];2012年
中国博士学位论文全文数据库 前5条
1 赵铁柱;分布式文件系统性能建模及应用研究[D];华南理工大学;2011年
2 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
3 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
4 陈军;基于G/S模式的空间分析云服务关键技术研究[D];成都理工大学;2012年
5 郭羽成;MPI高性能云计算平台关键技术研究[D];武汉理工大学;2013年
中国硕士学位论文全文数据库 前10条
1 吴贵鑫;云计算中的MapReduce并行编程模式研究[D];河南理工大学;2010年
2 凌辰;基于Web服务器远程无缝迁移技术的研究与应用[D];天津理工大学;2010年
3 冯开琦;面向汽摩配制造企业的ASP平台研究与开发[D];浙江大学;2009年
4 杨义彬;基于云计算的分布式处理框架的研究与设计[D];电子科技大学;2011年
5 李芳芳;个人数据空间管理系统中数据抽取及语义关联构建[D];北京交通大学;2011年
6 么士宇;基于分布式计算的网络爬虫技术研究[D];大连海事大学;2011年
7 鱼健榕;基于Nutch的搜索引擎系统的研究与实现[D];北京邮电大学;2011年
8 李波;基于Hadoop的海量图象数据管理[D];华东师范大学;2011年
9 文军舰;基于Nutch的Web结构挖掘算法研究[D];天津财经大学;2011年
10 任萱萱;基于Hadoop平台的作业调度研究[D];天津师范大学;2011年
【同被引文献】
中国期刊全文数据库 前10条
1 冯建辉;杨玉静;;基于灰度共生矩阵提取纹理特征图像的研究[J];北京测绘;2007年03期
2 黎春兰;邓仲华;;论云计算的价值[J];图书与情报;2009年04期
3 丁洪丽;陈怀新;;基于累积直方图的视频镜头边界检测方法[J];电讯技术;2008年03期
4 王续琨;栾兰;;网络时代中国信息产业的发展对策[J];东北师大学报(哲学社会科学版);2008年05期
5 李华;刘帅;李茂;刘双琪;;数据挖掘理论及应用研究[J];断块油气田;2010年01期
6 续蕾;;基于云计算技术的IT业应用研究[J];电脑学习;2010年03期
7 付丹丹;;关系数据库二进制存储图像数据的研究与应用[J];电脑学习;2010年03期
8 唐振军;魏为民;张新鹏;王朔中;;用于图像检索的稳健Hash[J];东南大学学报(自然科学版);2007年S1期
9 张维克;孔祥维;尤新刚;;安全鲁棒的图像感知哈希技术[J];东南大学学报(自然科学版);2007年S1期
10 陈娜;;数据挖掘技术的研究现状及发展方向[J];电脑与信息技术;2006年01期
中国博士学位论文全文数据库 前4条
1 常城;国家级高新技术开发区经济发展灰色预测模型研究[D];哈尔滨工程大学;2005年
2 谭支鹏;对象存储系统副本管理研究[D];华中科技大学;2008年
3 李晓燕;海量图像语义分析和检索技术研究[D];浙江大学;2009年
4 李冰;云计算环境下动态资源管理关键技术研究[D];北京邮电大学;2012年
中国硕士学位论文全文数据库 前10条
1 李秀芳;基于多核的多线程算法并行优化[D];郑州大学;2010年
2 吴贵鑫;云计算中的MapReduce并行编程模式研究[D];河南理工大学;2010年
3 任豪栋;基于Web日志挖掘的原型系统研究与实现[D];西华大学;2011年
4 骆明月;基于Map-Reduce分布式日志信息处理研究与实现[D];北京邮电大学;2011年
5 姜文;基于Hadoop平台的数据分析和应用[D];北京邮电大学;2011年
6 李波;基于Hadoop的海量图象数据管理[D];华东师范大学;2011年
7 任萱萱;基于Hadoop平台的作业调度研究[D];天津师范大学;2011年
8 邓光明;分布式工作流引擎的研究和设计[D];太原科技大学;2011年
9 陈艳金;MapReduce模型在Hadoop平台下实现作业调度算法的研究和改进[D];华南理工大学;2011年
10 陈剑锐;基于Hadoop海量数据存储仿真平台的研究与设计[D];华南理工大学;2011年
【二级引证文献】
中国期刊全文数据库 前10条
1 成静静;喻朝新;;基于云计算的大数据统一分析平台研究与设计[J];广东通信技术;2013年01期
2 魏伟;;云计算及云存储的技术应用[J];科技创新与应用;2013年13期
3 赵建辉;王明玉;李致宇;常继科;于森;杨小芳;;一种基于MPI的河流生态修复模拟并行算法[J];地学前缘;2014年04期
4 臧伟;曹宝香;;一种引入索引结构的Apriori并行化改进算法[J];电子技术;2014年06期
5 刘军霞;王磊;周喜;;面向海量数据的电子政务云平台研究[J];计算机与现代化;2013年07期
6 骆剑锋;;多重负载均衡及网状环网的云平台的设计[J];控制工程;2013年04期
7 李晓飞;;云计算环境下Apriori算法的MapReduce并行化[J];长春工业大学学报(自然科学版);2013年06期
8 顾瑞春;王静宇;;一种基于MapReduce的并行聚类模型[J];计算机与现代化;2014年01期
9 霍卓群;;基于HADOOP平台的GPS动态导航系统[J];洛阳理工学院学报(自然科学版);2014年01期
10 樊龙;万定生;顾昕辰;;基于Hadoop云平台的水利普查数据挖掘系统的设计和实现[J];计算机与数字工程;2014年05期
中国重要会议论文全文数据库 前2条
1 郑文武;李先绪;黄植勤;邱红飞;;云存储关键技术[A];2012全国无线及移动通信学术大会论文集(下)[C];2012年
2 李毅;刘兴川;孙亭;;基于大数据的公安情报分析系统研究[A];2014第二届中国指挥控制大会论文集(下)[C];2014年
中国硕士学位论文全文数据库 前8条
1 周诗慧;基于Hadoop的改进的并行Fp-Growth算法[D];山东大学;2013年
2 许小龙;基于Hadoop的MeteCloud资源存储与数据处理的研究[D];南京信息工程大学;2013年
3 孙强;水利GIS云服务平台研究[D];南昌大学;2013年
4 苏家劲;基于云环境的电信OSS及信息高速交互策略的研究与实现[D];南昌大学;2013年
5 奈存剑;虚拟化数据管理平台研究[D];华中科技大学;2013年
6 蒋慧斐;海量日志分布式处理系统的研究与应用[D];北京交通大学;2014年
7 徐优香;基于云计算的冷链物流配送车辆路径优化方法的研究[D];江苏科技大学;2013年
8 臧伟;数据挖掘在云环境下CRM系统中的应用[D];曲阜师范大学;2014年
【二级参考文献】
中国期刊全文数据库 前8条
1 危烽;;浅谈云计算在互联网中的应用[J];电脑知识与技术;2009年03期
2 蔡键;王树梅;;基于Google的云计算实例分析[J];电脑知识与技术;2009年25期
3 高文举;李晓伟;孙春燕;李哲;;基于全文检索Apache Lucene引擎的原理与流程研究[J];长春工业大学学报(自然科学版);2008年04期
4 郑欣杰;朱程荣;熊齐邦;;基于MapReduce的分布式光线跟踪的设计与实现[J];计算机工程;2007年22期
5 姚树宇,赵少东;一种使用分布式技术的搜索引擎[J];计算机应用与软件;2005年10期
6 蒋建洪;;主要分布式搜索引擎技术的研究[J];科学技术与工程;2007年10期
7 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期
8 岳彩松;李建华;银鹰;;基于Fuzz的MS Office漏洞检测[J];信息安全与通信保密;2007年09期
中国硕士学位论文全文数据库 前2条
1 岳彩松;MS Office漏洞挖掘与利用技术研究[D];上海交通大学;2008年
2 孟令芬;pc集群作业调度算法研究[D];中国石油大学;2009年
【相似文献】
中国期刊全文数据库 前10条
1 李春林,卢正鼎;一种分层式计算网格资源定位路由协议[J];武汉理工大学学报(交通科学与工程版);2003年05期
2 曾国荪,陈闳中;计算网格的抽象定义[J];同济大学学报(自然科学版);2003年09期
3 陈晓红;;关于计算网格调度模型的探索[J];中国科技信息;2006年22期
4 曾小宁;邹小青;;一种计算网格环境的研究与实现[J];佛山科学技术学院学报(自然科学版);2007年03期
5 聂凯,沈记全,鞠志刚;网格体系结构的相关研究[J];福建电脑;2005年07期
6 陈晶,孔令富,柳奇,董俊;计算网格下用户管理的研究[J];计算机工程与设计;2005年06期
7 张伟哲;胡铭曾;李斌;高雷;;计算网格环境下多址作业调度系统模型研究[J];华中科技大学学报(自然科学版);2005年S1期
8 吴长泽;陈蜀宇;田东;;基于虚拟市场的网格资源分配策略[J];华中科技大学学报(自然科学版);2006年S1期
9 柴珏;;网格存储技术浅议[J];中国传媒科技;2006年10期
10 李冰峰;陈琪;高传善;;计算网格中资源调度研发现状及展望[J];计算机应用与软件;2008年01期
中国重要会议论文全文数据库 前10条
1 李明悝;;渤海风浪数值模拟中计算网格的局部移动加细[A];第七届全国海洋湖沼青年学者学术研讨会论文摘要集[C];2000年
2 张贝;张怀;石耀霖;;生成球体六面体有限元计算网格的一种优化方法[A];中国地球物理学会第二十七届年会论文集[C];2011年
3 颜桐;李巍;李云春;;计算网格环境下以QoS为指导的启发式任务调度[A];2006年全国开放式分布与并行计算学术会议论文集(二)[C];2006年
4 郭力;李晓霞;袁小龙;杨小震;;基于网格的分子力学计算[A];中国化学会第26届学术年会化学信息学与化学计量学分会场论文集[C];2008年
5 武秀川;沙丽杰;娄兰芳;胡亮;;使用主动网络提高网格的资源管理性能[A];2005中国控制与决策学术年会论文集(下)[C];2005年
6 李琪林;甄威;周明天;;一种适用于Master-Worker应用的动态统一调度算法的研究[A];2008'中国信息技术与应用学术论坛论文集(一)[C];2008年
7 黄少锋;徐杰;马峥;;散货船阻力预报的数值试验研究[A];第九届全国水动力学学术会议暨第二十二届全国水动力学研讨会论文集[C];2009年
8 周骥;张其林;赵佳楠;;ALE描述在流固耦合计算中的应用[A];第五届全国现代结构工程学术研讨会论文集[C];2005年
9 李妮;彭晓源;刘杰;;计算网格及其在虚拟样机协同环境中的应用探讨[A];2003年全国系统仿真学术年会论文集[C];2003年
10 朱辉玉;王刚;孙泉华;樊菁;;高超声速飞行气动热数值模拟的几个关键因素[A];第三届高超声速科技学术会议会议文集[C];2010年
中国重要报纸全文数据库 前10条
1 清华大学计算机系 陈渝;ACI中的安全问题[N];计算机世界;2001年
2 ;网格:打破计算能力“天花板”[N];中国电脑教育报;2006年
3 ;网格,让数据中心消亡?[N];网络世界;2006年
4 ;用Java实现网格服务[N];计算机世界;2007年
5 ;网格计算有望助科学家揭示地球生命起源[N];网络世界;2008年
6 特约撰稿 陈雨航;Sun构建数字引擎[N];通信信息报;2004年
7 记者 李大庆;“网格计算”连接中法[N];科技日报;2006年
8 周飙;索尼PS3的“吉列式”定价困境[N];21世纪经济报道;2008年
9 郭涛;FC SAN的今天 InfiniBand的明天[N];中国计算机报;2006年
10 NetApp市场总监 Jay Kidd;云计算概念被滥用了[N];中国计算机报;2008年
中国博士学位论文全文数据库 前10条
1 曹鸿强;基于多经济智能主体的计算网格资源管理[D];中国人民解放军国防科学技术大学;2000年
2 栾翠菊;计算网格环境中任务管理的研究[D];浙江大学;2006年
3 梁鸿;基于地震资料处理的计算网格技术的研究[D];中国石油大学;2008年
4 马骏;大跨空间结构的风场和流固耦合风效应研究与精细识别[D];上海交通大学;2009年
5 黄昌勤;计算网格中任务管理的若干问题研究[D];浙江大学;2005年
6 朱君;流体力学数值方法及并行策略研究[D];南京航空航天大学;2006年
7 江涛;汽车车身气动造型设计优化研究[D];湖南大学;2011年
8 胡周君;计算网格中面向QoS的资源可用性评估模型研究[D];中南大学;2010年
9 段庆林;成型充填过程中非等温非牛顿粘性流动的ALE有限元与无网格自适应耦合模拟[D];大连理工大学;2007年
10 Ehsan Ullah Munir;异构计算环境中启发式任务调度方法[D];哈尔滨工业大学;2008年
中国硕士学位论文全文数据库 前10条
1 汤磊;计算网格环境下的作业资源描述语言[D];吉林大学;2005年
2 车喜龙;用于网格应用程序性能预测的信息服务[D];吉林大学;2006年
3 綦姝;计算网格环境下的资源实时预报系统[D];吉林大学;2006年
4 郦钧;网格资源管理的研究[D];清华大学;2005年
5 梁冰;计算网格环境下的资源目录信息服务[D];吉林大学;2005年
6 吕晓娟;计算网格环境下的动态资源信息服务[D];吉林大学;2006年
7 张培玉;校园计算网格资源管理模型的研究与实现[D];成都理工大学;2008年
8 罗伟;一种基于竞标机制的网格资源管理模型[D];四川大学;2003年
9 胡艳丽;计算网格中基于时间均衡的任务调度方法研究[D];国防科学技术大学;2004年
10 杨召庆;面向校园计算网格的资源自适应调度技术研究[D];西北工业大学;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026