收藏本站
《河南理工大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

云计算中的MapReduce并行编程模式研究

吴贵鑫  
【摘要】: 云计算是并行计算、分布式计算和网格计算的发展,使并行技术走进了人们的生活。云计算、个人高性能计算机(PHPC)等技术的深入发展,使许多技术人员开始从单机工作模式向并行计算模式转变。云计算的逐步普及使并行程序设计成为许多程序设计人员必须面对和解决的一个关键性问题。 Google提出的MapReduce并行编程模式极大的降低了并行程序的开发难度。与传统的分布式程序设计相比,MapReduce封装了并行处理、容错处理、本地化计算、负载均衡等细节,还提供了一个简单而强大的编程接口,极大的简化了并行程序设计的难度。 本文首先介绍了云计算的概念、基本理论和研究现状,阐述了几种传统的并行编程模式,分析和研究的它们的原理和发展。对Google云计算和Hadoop云计算架构进行了简要的介绍,并将MapReduce与MPI进行比较,研究两者的区别与各自优势。 文中详细地阐述了MapReduce的编程思想,分析和研究了MapReduce解决问题的工作原理、具体步骤和方法。介绍了MapReduce的容错机制,并对MapReduce作业的调度算法进行了详细的分析。研究了MapReduce在异构Hadoop集群环境下的性能差异,分析了异构环境对MapReduce性能的影响。本文提出一种新的数据分配机制HDDM,以集群中各异构节点的计算比率为依据来分配输入文件,提高了MapReduce在异构Hadoop集群中的性能。 最后通过实验证明,我们提出的数据分配机制HDDM能够极大的提高MapReduce程序的执行效率。
【学位授予单位】:河南理工大学
【学位级别】:硕士
【学位授予年份】:2010
【分类号】:TP338.6

【引证文献】
中国期刊全文数据库 前2条
1 张素香;刘建明;赵丙镇;曹津平;;基于云计算的居民用电行为分析模型研究[J];电网技术;2013年06期
2 陈虹君;吴雪琴;;云计算编程模型中Java应用研究[J];电脑知识与技术;2013年13期
中国硕士学位论文全文数据库 前9条
1 陈玲玲;基于Hadoop的Web文本挖掘的关键技术研究[D];浙江理工大学;2012年
2 丁静;基于Google云平台的iOS游戏社区[D];大连理工大学;2012年
3 罗希;基于Models-3/CMAQ的空气质量预报方法研究[D];陕西师范大学;2012年
4 刘艳俊;云计算环境下GML空间数据查询与空间分析研究[D];江西理工大学;2012年
5 徐婷婷;基于云计算的电力系统潮流分析[D];合肥工业大学;2012年
6 赵茹;MapReduce框架下的聚类和凸包算法研究与实现[D];成都理工大学;2013年
7 王海飞;基于Hadoop云的数据库营销海量数据处理与挖掘的研究[D];浙江理工大学;2013年
8 曹旭;Hadoop平台下海量日志数据处理模型的研究及改进[D];浙江理工大学;2013年
9 刘旭;云环境下商务智能的研究[D];浙江理工大学;2013年
【参考文献】
中国期刊全文数据库 前2条
1 孙广中;肖锋;熊曦;;MapReduce模型的调度及容错机制研究[J];微电子学与计算机;2007年09期
2 刘轶;张昕;李鹤;钱德沛;;多核处理器大规模并行系统中的任务分配问题及算法[J];小型微型计算机系统;2008年05期
中国硕士学位论文全文数据库 前2条
1 万至臻;基于MapReduce模型的并行计算平台的设计与实现[D];浙江大学;2008年
2 朱珠;基于Hadoop的海量数据处理模型研究和应用[D];北京邮电大学;2008年
【共引文献】
中国期刊全文数据库 前10条
1 李珺;;基于Hadoop云计算模型探究[J];信息安全与技术;2011年06期
2 张钦;张鹏程;;运用OpenMP和CUDA优化蒙特卡洛算法[J];安阳师范学院学报;2012年02期
3 王生;周大良;;分布式异构警用地理信息平台设计和联网实现[J];地理信息世界;2011年06期
4 黄其民;;基于CORBA的分布式系统监测技术及其应用[J];重庆科技学院学报(自然科学版);2007年03期
5 朱辰;施冲;;梯级水电站集控中心计算机监控系统软件[J];水电自动化与大坝监测;2007年06期
6 朱辰;施冲;李斌;;特大型水电机组计算机监控系统的研制[J];水电自动化与大坝监测;2008年01期
7 宋羽;王琨;张宝;;并发实时系统的串行非实时仿真框架[J];弹箭与制导学报;2012年03期
8 王结臣;王豹;胡玮;张辉;;并行空间分析算法研究进展及评述[J];地理与地理信息科学;2011年06期
9 朱卫平;陈英;;基于J2EE中间件技术的分布式系统建模[J];电脑知识与技术(学术交流);2007年21期
10 陈卫卫;;支持高吞吐量彩票交易的消息服务子系统的设计与实现[J];电脑知识与技术;2008年15期
中国重要会议论文全文数据库 前6条
1 覃智君;韦化;;EMS支撑平台中分布式报警子系统的设计与实现[A];2006中国电力系统保护与控制学术研讨会论文集[C];2006年
2 崔向徽;林忠文;卢光军;;集群计算技术在无线接收系统中的应用[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
3 李宇飞;朱春鸽;刘欣然;徐倩华;;一种基于虚拟计算环境的业务承载节点架构[A];2010年全国通信安全学术会议论文集[C];2010年
4 朱湘;金松昌;贾焰;;一种基于Hadoop平台的海量Web数据挖掘系统研究与实现[A];第九届中国通信学会学术年会论文集[C];2012年
5 华中杰;徐锡山;杨树强;田胜利;;MapReduce本地优先作业调度策略研究与实现[A];第九届中国通信学会学术年会论文集[C];2012年
6 田胜利;徐锡山;杨树强;华中杰;;针对HBase的MapReduce访问接口的优化[A];第九届中国通信学会学术年会论文集[C];2012年
中国博士学位论文全文数据库 前10条
1 刘苗;基于认知无线电的PAPR优化算法及ICI抑制算法的研究[D];吉林大学;2011年
2 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
3 马辉;基于MapReduce的分布式地震射线追踪方法研究[D];中国地质大学(北京);2012年
4 王少荣;电力系统分布式广域同步并行处理平台研究[D];华中科技大学;2004年
5 黄伟;机群系统容错中间件技术研究[D];中国科学院研究生院(计算技术研究所);2005年
6 管建和;电磁场有限元法解释分布式并行计算的研究[D];中国地质大学(北京);2006年
7 孔晓红;网络计算环境中基于智能算法的任务调度研究[D];江南大学;2007年
8 赵斌;若干等离子体物理过程的Fokker-Planck模拟[D];中国科学技术大学;2007年
9 何冰;基于Boltzmann方程三维可压缩高速流动并行算法及其应用研究[D];上海大学;2008年
10 马自勤;现代工艺管理及若干关键技术研究[D];大连交通大学;2008年
中国硕士学位论文全文数据库 前10条
1 于爱华;分布式实时容错系统的设计与实现[D];大连理工大学;2010年
2 叶昌富;汽车产品市场调研系统分析与设计[D];合肥工业大学;2009年
3 刘新国;基于多核处理器的并行图像融合处理技术的研究[D];沈阳理工大学;2010年
4 赵磊;适应多核处理器的任务调度研究[D];哈尔滨理工大学;2010年
5 杨珏;基于并行环境求解TSP问题[D];昆明理工大学;2009年
6 苏伟兵;个性化Web商务信息融合关键技术研究[D];浙江大学;2010年
7 王剑;基于IEC 61850、IEC 61970等国际标准的一体化电能质量综合数据平台及监测管理应用系统[D];山东大学;2010年
8 王兴启;多核处理器的有锁编程与非阻塞算法研究[D];中原工学院;2011年
9 刘涛;多节点集成算法研究及在入侵检测上的应用[D];西安电子科技大学;2010年
10 贾文娟;基于hive分布式计算与数据挖掘的关联性营销的设计与实现[D];北京交通大学;2011年
【同被引文献】
中国期刊全文数据库 前10条
1 杨浩;;基于网络环境中数据库营销的应用研究[J];办公自动化;2011年10期
2 王雪松,李金龙;北京地区夏季PM10污染的数值模拟研究[J];北京大学学报(自然科学版);2003年03期
3 黄佳进,刘椿年,李文斌;市场值函数挖掘的研究和实现[J];北京工业大学学报;2003年01期
4 刘椿年,苌彩卿,黄佳进,欧创新;基于Boosting的市场值函数算法及其评价[J];北京工业大学学报;2004年03期
5 刘颖;秦贵和;;基于iOS远程控制应用的设计与实现[J];吉林大学学报(信息科学版);2011年05期
6 兰小机,闾国年,刘德儿,张书亮;基于XQuery的GML查询语言研究[J];测绘科学;2005年06期
7 赵园春;李成名;赵春宇;;并行R树空间索引中叶节点大小的确定方法研究[J];测绘科学;2008年04期
8 程旭;马劲松;;基于GDI+的GML可视化模型设计[J];测绘科学;2008年05期
9 刘洋;周家启;谢开贵;赵渊;陈炜俊;胡博;;基于Beowulf集群的大规模电力系统方程并行PCG求解[J];电工技术学报;2006年03期
10 谢开贵;张怀勋;胡博;曹侃;吴韬;;大规模电力系统潮流计算的分布式GESP算法[J];电工技术学报;2010年06期
中国博士学位论文全文数据库 前9条
1 方雷;基于云计算的土地资源服务高效处理平台关键技术探索与研究[D];浙江大学;2011年
2 蔡砥;网络计算环境下空间分析的计算模式研究[D];华东师范大学;2004年
3 高刚毅;分布式地理信息系统研究[D];浙江大学;2004年
4 刘洋;大规模电力系统并行处理技术及可靠性评估Web计算系统研究[D];重庆大学;2006年
5 张素香;信息抽取中关键技术的研究[D];北京邮电大学;2007年
6 冯业荣;珠江三角洲气溶胶污染的机理分析及数值模拟研究[D];中山大学;2006年
7 程兴宏;空气质量模式“源同化”模型及排放源影响效应研究[D];中国科学院研究生院;2008年
8 赵春宇;高性能并行GIS中矢量空间数据存取与处理关键技术研究[D];武汉大学;2006年
9 何慧;WEB文本挖掘中关键问题的研究[D];北京邮电大学;2009年
中国硕士学位论文全文数据库 前10条
1 张志友;基于瓦片的矢量图幅的分割与合并[D];大连理工大学;2010年
2 查财旺;云计算环境下行为信任模型研究[D];大连海事大学;2011年
3 施岩;云计算研究及Hadoop应用程序的开发与测试[D];北京邮电大学;2011年
4 马超;基于云计算的海量旅行数据分析[D];北京邮电大学;2011年
5 李波;基于Hadoop的海量图象数据管理[D];华东师范大学;2011年
6 孙龙;CMAQ模型的并行效率优化研究[D];陕西师范大学;2011年
7 任萱萱;基于Hadoop平台的作业调度研究[D];天津师范大学;2011年
8 邓光明;分布式工作流引擎的研究和设计[D];太原科技大学;2011年
9 梁维铿;基于Hadoop的分布式文本聚类研究[D];华南理工大学;2011年
10 陈艳金;MapReduce模型在Hadoop平台下实现作业调度算法的研究和改进[D];华南理工大学;2011年
【二级引证文献】
中国期刊全文数据库 前2条
1 王保义;赵硕;张少敏;;基于云计算和极限学习机的分布式电力负荷预测算法[J];电网技术;2014年02期
2 艾昊;;云计算编程模型中Java应用刍议[J];电子技术与软件工程;2013年24期
中国硕士学位论文全文数据库 前4条
1 宋伟杰;Web2.0与云计算技术支持的协作学习研究[D];南京邮电大学;2013年
2 麦迪乃·热合木江;基于Hadoop的分布式Web文本检索系统的研究与开发[D];新疆大学;2013年
3 张磊;基于云计算的网格化均值聚类算法的并行化研究[D];合肥工业大学;2013年
4 吴健;基于Hadoop的上市公司舆情挖掘系统的研究与实现[D];电子科技大学;2013年
【二级参考文献】
中国期刊全文数据库 前3条
1 邸楠,王韬,李晓明;LilyTask任务并行环境中基于任务关系的初始任务分配算法[J];计算机学报;2005年05期
2 张宏莉,方滨兴,胡铭曾;一种针对结构化并行控制机制的任务调度算法[J];软件学报;2001年05期
3 孙广中;肖锋;熊曦;;MapReduce模型的调度及容错机制研究[J];微电子学与计算机;2007年09期
【相似文献】
中国期刊全文数据库 前10条
1 江务学;张璟;王志明;;MapReduce并行编程架构模型研究[J];微电子学与计算机;2011年06期
2 马晶燕;于双元;;基于MPICH的MPI并行环境分析[J];科技资讯;2006年30期
3 罗秋明;李晶;雷海军;;一种MPI并行编程教学实验环境系统的架构[J];实验技术与管理;2008年04期
4 周斌;;多核时代下的并行编程架构[J];国外电子测量技术;2009年08期
5 罗秋明;李晶;;渐进式MPI并行编程的教学方法[J];计算机时代;2006年09期
6 祝君;林庆农;徐造林;;实时历史数据库中压缩技术的并行化研究[J];计算机技术与发展;2010年07期
7 李翀 ,罗家融 ,王华忠;基于BEOWULF的PC集群系统设计及并行编程的研究[J];微计算机信息;2005年14期
8 ;NI LabVIEW 8.6引领并行技术时代[J];国外电子测量技术;2008年09期
9 杨晓奇;郑启龙;陈国良;;扩充OpenMP并行编程模型支持事务存储执行(英文)[J];中国科学技术大学学报;2009年11期
10 郑启龙;吴晓伟;房明;王昊;汪胜;王向前;;HPMR在并行矩阵计算中的应用[J];计算机工程;2010年08期
中国重要会议论文全文数据库 前10条
1 李瑞;王朝坤;郑伟;王建民;王伟平;;基于MapReduce框架的近似复制文本检测[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
2 朱红;张赛男;;Java并行注释规范JAC的扩展[A];2009年全国开放式分布与并行计算机学术会议论文集(上册)[C];2009年
3 孙广中;肖锋;熊曦;;MapReduce模型的调度及容错机制研究[A];2007年全国开放式分布与并行计算机学术会议论文集(上册)[C];2007年
4 姚再勇;郑启龙;许胤龙;姚震;张红涛;胡晨光;;基于Eclipse的并行开发环境EMPI[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
5 赵伟;陈承收;李立军;;基于MapReduce云计算模型的碰撞检测算法[A];'2010系统仿真技术及其应用学术会议论文集[C];2010年
6 郑启龙;房明;汪胜;王向前;吴晓伟;王昊;;基于MapReduce模型的并行科学计算[A];2009年全国开放式分布与并行计算机学术会议论文集(上册)[C];2009年
7 郑启龙;王昊;吴晓伟;房明;;HPMR:多核集群上的高性能计算支撑平台[A];2008年全国开放式分布与并行计算机学术会议论文集(上册)[C];2008年
8 张晓霞;;SGI对MPI的优化与调整[A];中国工程物理研究院科技年报(2002)[C];2002年
9 李久楷;宁交贤;;可用于力学的MPI并行计算编程及其运行平台的组建研究[A];第十二届全国实验力学学术会议论文摘要集[C];2009年
10 牧之内显文;有次正义;白光一;于戈;金子邦彦;;一个支持”数据集约性”应用的并行持久性语言的设计与实现[A];数据库研究与进展95——第十三届全国数据库学术会议论文集[C];1995年
中国重要报纸全文数据库 前10条
1 本报记者 刘洪宇;并行编程:虽难也能走捷径[N];中国计算机报;2010年
2 Intel编程系统实验室 Ali-RezaAdl-Tabatabai;TM将取代互斥锁助益并行编程[N];中国计算机报;2008年
3 英特尔微处理器技术实验室主任工程师 Anwar Ghuloum;并行编程为什么这么难?[N];中国计算机报;2007年
4 刘琦;MapReduce:亚马逊云服务再添新援[N];中国计算机报;2009年
5 鲁媛媛;来一块“英特尔”夹心软糖[N];网络世界;2008年
6 谢涛;英特尔:忽视并行化软件后果很危险[N];电脑商报;2008年
7 吴加录;英特尔软件大会:软件进入多核时代[N];中国计算机报;2008年
8 《网络世界》记者 周源;Platform MapReduce:专注企业级用户[N];网络世界;2011年
9 本报记者 陈斌;多核的软件推力[N];计算机世界;2008年
10 英特尔并行计算实验室研究员 TimothyMattson;并行计算:减少串行软件[N];中国计算机报;2007年
中国博士学位论文全文数据库 前10条
1 武华北;混合并行计算环境多级并行化编程模式的研究[D];天津大学;2009年
2 丁泽柳;一体化信息基础设施中面向MapReduce的递归层次结构数据中心网络研究[D];国防科学技术大学;2012年
3 成杏梅;基于媒体芯片的实时操作系统实现研究[D];浙江大学;2008年
4 徐祯;面向并行程序设计的可视化建模语言体系及支撑系统研究[D];天津大学;2010年
5 韩海雯;MapReduce计算任务调度的资源配置优化研究[D];华南理工大学;2013年
6 洪春涛;众核处理器编程模式关键技术研究[D];清华大学;2011年
7 李嘉欣;基三体系结构中并行运算的关键机制研究[D];北京理工大学;2010年
8 吴昊;云计算环境下智能优化算法及其在SaaS中的应用研究[D];合肥工业大学;2013年
9 白明泽;多核集群上的混合并行分子动力学计算研究[D];电子科技大学;2012年
10 彭林;软件事务存储并行编程环境关键技术研究[D];国防科学技术大学;2010年
中国硕士学位论文全文数据库 前10条
1 吴贵鑫;云计算中的MapReduce并行编程模式研究[D];河南理工大学;2010年
2 杨玲;面向云计算的MapReduce并行编程模式的研究与应用[D];湖南大学;2011年
3 朱盛凯;基于MapReduce的科学计算应用性能分析与优化[D];复旦大学;2010年
4 邓伟良;基于MPI的并行编程技巧[D];暨南大学;2001年
5 梁慧;基于多核的数据并行编程平台的研究与实现[D];东北大学;2009年
6 孙超;面向强数据依赖型应用的并行编程模型研究[D];天津大学;2012年
7 徐项沛;片上网络多核处理器的性能测试与并行编程研究[D];南京大学;2011年
8 曾敬翔;GPU集群的并行编程通信接口研究[D];华中科技大学;2012年
9 余基映;MapReduce模型的数据分配策略研究[D];华中科技大学;2013年
10 耿倞;并行算法框架编译指令在高级别并行编程中的设计与实现[D];中山大学;2012年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026