收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

大数据环境下Hadoop性能优化的研究

曹英  
【摘要】:伴随Internet和Web技术的飞速发展,语音、视频、网络日志、互联网搜索索引、互联网文本文件等技术的广泛使用带来了数据量的急剧增长,这预示着大数据时代的到来。大数据时代的数据具有数据量剧增、数据结构更复杂化的特点,导致数据存储和处理的难度加大。而Hadoop的出现大大简化了大数据时代数据的存储和处理的问题,所以本文对Hadoop技术的研究和优化具有重要的现实意义。 本文研究的主要内容是:首先对Hadoop的核心技术HDFS和MapReduce的原理进行了研究和分析。分别从名字节点、数据节点、接口、类、调用关系等方面进行详细的研究,并分析了HDFS和MapReduce的工作机制。同时,针对Hadoop目前存在的两个性能问题,在深入研究源码的基础上,提出初步改进方案。其次,对第一个性能问题Hadoop推测执行算法在异构环境中性能较差的问题进行研究和分析,提出改进的算法,该算法根据系统负载的情况自动的调节后备任务的执行,以实现系统负载的均衡;采用Zaharia提出的历史平均剩余完成时间估算剩余时间,并将剩余时间的值大于0.2的方法判断掉队者,进而得到更精确的掉队者队列。新算法在一定程度上提高了异构环境中推测执行的性能。最后,对第二个性能问题DBInputFormat操作关系数据库中的海量数据时所出现的性能缺陷问题进行深入的分析和研究,并对DBInputFormat接口进行改进,提出新的分片策略,构建新接口。该接口在一定程度上提高了Hadoop操作关系数据库的效率,改善了Hadoop读取关系数据库的性能。 搭建实验平台,分别对新提出的算法和改进的接口进行实验,经过验证,说明它们在一定程度上都提高了Hadoop性能。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 朱克勤;数据库系统性能优化方法[J];警察技术;2004年06期
2 李泽平;SQL查询语句的性能优化与索引[J];福建电脑;2005年09期
3 张南平,陈小倩;ASP.NET性能优化[J];微机发展;2005年08期
4 史长琼;基于ORACLE的GIS数据实时处理系统的性能优化[J];长沙交通学院学报;2001年03期
5 张华;;查询优化技术在MIS中的应用[J];潍坊学院学报;2005年06期
6 唐沙;唐慧佳;李东琦;;电子商务系统的性能优化方案研究[J];微计算机信息;2007年27期
7 袁慧颖;翁盛鑫;程少平;魏冰;;ORACLE数据库性能优化[J];海军总医院学报;2007年03期
8 王勇;;基于SQL数据库的性能优化问题分析[J];电脑知识与技术;2008年15期
9 陈一明;;SQL Server数据库应用技巧探讨[J];科学技术与工程;2008年12期
10 高平;;虚拟轴数控机床关键技术研究[J];石家庄铁道学院学报(自然科学版);2008年03期
11 周建鲲;;基于ASP.NET应用系统性能研究与探讨[J];硅谷;2009年02期
12 李娟;汤军;安丹;;基于Oracle数据库性能优化的研究[J];软件导刊;2009年07期
13 褚泽;苟小龙;肖恒;;二级半导体温差发电器性能优化分析[J];计算机仿真;2009年10期
14 徐基伟;;迎接前端性能的挑战[J];程序员;2010年02期
15 曹忠锋;姜良华;王亚伟;郑仕勇;;基于.NET智能客户端的性能优化[J];软件导刊;2010年02期
16 张静纯;;劳动保障信息系统数据库性能优化设计[J];信息与电脑(理论版);2010年06期
17 杨柳;;SQL Server数据库的性能分析与优化策略研究[J];科技创新导报;2011年01期
18 李可可;;浅析Oracle数据库的性能优化方法[J];硅谷;2011年02期
19 李文文;DB2性能优化主要方法[J];华南金融电脑;2002年06期
20 宋利辉 ,邹佐来;AIX操作系统下应用系统的维护与性能优化[J];中国金融电脑;2005年06期
中国重要会议论文全文数据库 前10条
1 方奇;袁茂森;刘志强;;三聚吲哚化合物的选位异构及双光子性能优化:长程与短程电荷转移[A];全国第八届有机固体电子过程暨华人有机光电功能材料学术讨论会摘要集[C];2010年
2 陈建松;;IBM大型机应用系统性能优化[A];中国计量协会冶金分会2011年会论文集[C];2011年
3 曹燕;;ORACLE数据库系统的性能优化[A];数据库技术在气象领域的应用学术会议论文集[C];2001年
4 高明星;;DB2数据库应用性能优化问题浅谈[A];科技、工程与经济社会协调发展——中国科协第五届青年学术年会论文集[C];2004年
5 李昱;;DB2 SQL性能优化准则在武钢物流管理系统中的实践[A];中国计量协会冶金分会2011年会论文集[C];2011年
6 高俊;;浅谈企业内部局域网的维护[A];计算机技术在工程建设中的应用——第十二届全国工程建设计算机应用学术会议论文集[C];2004年
7 冯春燕;张晨;周继成;丁炜;;基于多协议标记交换MPLS的因特网流量工程[A];中国航空学会信号与信息处理专业全国第八届学术会议论文集[C];2004年
8 冯立;王良勇;钱晓龙;;冗余控制系统的原理及性能优化[A];中国仪器仪表学会第五届青年学术会议论文集[C];2003年
9 陳正士;徐華陽;陳曉強;馬闖;;直流磁控反应溅镀NiCr-CN薄膜性能研究[A];第六届华东三省一市真空学术交流会论文集[C];2009年
10 李周华;严毅;;软件设计中的性能优化与内存管理[A];广西计算机学会2004年学术年会论文集[C];2004年
中国博士学位论文全文数据库 前10条
1 张雷;嵌入式系统性能优化若干问题研究[D];电子科技大学;2010年
2 何倩;P2P系统性能优化若干关键技术研究[D];北京邮电大学;2010年
3 王耀彬;多核平台上支持推测并行化的事务存储体系结构性能优化[D];中国科学技术大学;2010年
4 吴长泽;数据网格中高可用性副本管理及性能优化研究[D];重庆大学;2007年
5 任永青;逻辑核动态可重构的众核处理器体系结构[D];中国科学技术大学;2010年
6 吴钊;保证服务质量的动态Web服务组合及其性能分析研究[D];武汉大学;2007年
7 朱正林;电站辅机及辅机系统性能优化[D];东南大学;2005年
8 张国义;水科学应用网格的若干关键技术研究[D];中国科学技术大学;2007年
9 宁静红;R290/CO_2自然工质复叠式制冷循环系统的理论分析与实验研究[D];天津大学;2007年
10 齐小刚;计算机网络中的路由与性能优化[D];西安电子科技大学;2005年
中国硕士学位论文全文数据库 前10条
1 曹英;大数据环境下Hadoop性能优化的研究[D];大连海事大学;2013年
2 林树新;SmartOSEK的系统设计和时间性能优化[D];浙江大学;2005年
3 熊远生;网络控制系统的滑模预估变结构控制器设计及性能优化[D];浙江工业大学;2004年
4 徐慧君;基于JSP平台的信息发布系统的设计与实现[D];北京工业大学;2004年
5 吕栗;邮件过滤系统中数据库的性能优化[D];哈尔滨工程大学;2005年
6 石鹏飞;J2EE企业门户网站技术研究[D];浙江大学;2006年
7 陆琳琳;MD5算法的技术研究及性能优化[D];吉林大学;2006年
8 徐永军;基于视频压缩新标准H.264的软件编码器及其性能优化的研究[D];山东大学;2005年
9 梁海波;R6160ZC柴油机增压系统优化设计[D];山东大学;2005年
10 宋龙甫;B231柴油机降低排放及性能优化的研究[D];清华大学;2005年
中国重要报纸全文数据库 前10条
1 陈翔;性能优化只能救火[N];中国计算机报;2007年
2 奥创利高级开发工程师 Robert A. Aekins 奥创利高级产品经理 Gregg Lafontaine;六类系统性能优化“秘笈”[N];计算机世界;2002年
3 王珂;你想的才是你要的[N];中国电脑教育报;2002年
4 北京日讯在线科技有限公司;GPRS/EDGE支撑数据业务增长[N];通信产业报;2007年
5 陈洪康 郭宝群 李雪梅;浅谈VLDB性能优化与维护[N];人民邮电;2001年
6 本报记者 张旭军;渐入佳境[N];网络世界;2006年
7 ;安图特引入新型数据加速解决方案[N];人民邮电;2008年
8 爱立信(中国)通信有限公司服务产品部 刘浩;EDGE网规网优夯实数据业务基础[N];通信产业报;2007年
9 田光富;SQL语句不当 也会影响性能[N];中国计算机报;2008年
10 爱立信(中国)有限公司;爱立信助深圳移动提升EDGE网络性能[N];通信产业报;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978