收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于MapReduce的大数据连接算法的设计与优化

张常淳  
【摘要】:近年来,随着互联网技术的广泛普及,以博客、社交网络等为代表的新型应用得到了广泛使用,同时伴随着云计算等技术的飞速发展,互联网中的数据正以前所未有的速度增长和积累,大数据已经走入我们的生活。 2004年Google提出的MapReduce并行编程环境,已经在大数据处理领域得到了广泛的应用。Yahoo!, Facebook, Amazon等大型互联网公司都纷纷应用MapReduce来处理大数据相关问题,同时,学术界也对MapReduce的相关算法做出了巨大贡献,有效地推动了MapReduce的发展。 本文在深入研究和总结相关领域已有成果的基础上,围绕基于MapReduce的数据连接算法效率优化问题,主要开展了以下的研究工作: 首先,本文提出了基于MapReduce的Maxdiff直方图的高效建立算法,包括准确算法和近似算法。Maxdiff直方图可以准确地评估数据集内的数据分布情况,例如可以提供数据倾斜的情况或者数据集之间连接属性的连接选择率等重要信息,为后文连接算法的优化做了一个基础工作。 其次,本文提出了基于BloomFilter的等值连接算法,核心思想是利用BloomFilter减少map和reduce之间网络传输量从而提高等值连接算法的效率。为此,首先提出了基于MapReduce的BloomFilter高效建立算法;其次提出了基于BloomFilter的等值连接算法,包括两表等值连接和多表等值连接;最后基于磁盘I/O和网络I/O建立了等值连接算法代价模型,用以选择基于MapReduce的最优等值连接效率方案。 再次,本文提出了针对数据倾斜的两表等值连接算法和多表等值连接算法。针对两表等值连接,优化了数据集中的一个或者几个数据出现过多时的连接算法效率。对于多表等值连接,采用基于值域分区(range partition)的方法,优化了用一轮MapReduce任务完成数据倾斜的多表连接算法效率。 最后,本文提出了基于MapReduce的多表任意连接算法。首先提出了用一轮MapReduce来完成多表任意连接算法(SEJ),核心思想是利用拉格朗日乘法来最优化网络传输量,同时采用随机化方法保证reduce端的负载均衡;然后基于算法SEJ和多表连接算法的代价模型,提出了一个动态规划算法生成基于MapReduce的多表任意连接的最优化连接方案。 本文从基于MapReduce的大数据连接算法效率优化问题出发,围绕着等值连接算法效率优化,数据倾斜的连接算法效率优化和θ连接算法效率优化问题进行研究,提出的算法能够有效地提升程序的执行效率,同时为后续的的研究工作给予借鉴和参考。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 周泽辉;;浅谈高职学院数据结构课程的“算法驱动”教学[J];科教文汇(中旬刊);2009年03期
2 张国煊,王小华,周必水;快速书面汉语自动分词系统及其算法设计[J];计算机研究与发展;1993年01期
3 梁跃进;;水利计算软件开发的基本方法[J];广西水利水电;1993年03期
4 李帮义;数据传输选择问题:算法设计和复杂性分析[J];系统工程学报;2005年03期
5 王俊松,吴真,储健;直流电路CAI系统的算法设计[J];仪器仪表学报;2005年S2期
6 冯昭昭,程学先;课表编排系统的设计与实现[J];湖北工业大学学报;2005年04期
7 李海伦;唐全;;“程序设计”课程教学改革的研究与实践——加强算法设计教学,提高学生编程能力[J];计算机教育;2005年07期
8 唐建国;;浅谈C语言的教学[J];福建电脑;2006年04期
9 霍建;刘鸿雁;段秀铭;;手工拍发的莫尔斯码信号种类识别算法设计[J];鞍山科技大学学报;2006年04期
10 姚志宏;杨勤科;吴喆;崔琰;;区域尺度降雨径流估算方法研究Ⅰ-算法设计[J];水土保持研究;2006年05期
11 井田;;栈在“迷宫问题”算法中的应用和实现[J];淮南师范学院学报;2007年03期
12 章明;;多项式乘法的算法设计与实现[J];电脑知识与技术(学术交流);2007年19期
13 石海鹤;石海鹏;薛锦云;;形式化方法Designware及其规约精化机理[J];计算机应用研究;2008年03期
14 张家超;;基于多Agent网络入侵检测系统中检测算法的设计[J];连云港职业技术学院学报;2008年01期
15 陈明;;基于信息流的实时电子商务动态个性化推荐[J];情报杂志;2008年08期
16 张家超;孔媛媛;;利用隐空间支持向量机设计IDS的检测算法[J];计算机应用与软件;2008年10期
17 尹志坚;黄慧勇;陈刚;;预约挂号系统的统一整合设计分析[J];医学信息;2008年12期
18 闭应文;;高校图书馆计算机辅助决策系统算法研究[J];图书馆界;2008年04期
19 汤亚玲;;递归算法设计及其非递归化研究[J];计算机技术与发展;2009年11期
20 刘波;李大军;田为春;阮见;;基于ArcSDE的版本管理和版本合并的算法设计与实现[J];安徽农业科学;2010年02期
中国重要会议论文全文数据库 前10条
1 李永强;刘杰;李允公;李祥;;Daubechies小波基的算法设计[A];全面建设小康社会:中国科技工作者的历史责任——中国科协2003年学术年会论文集(上)[C];2003年
2 钟章建;黄玮;马万经;姚佼;;面向协调控制的交通小区划分算法设计与实现[A];2008第四届中国智能交通年会论文集[C];2008年
3 张晋;;嵌入式电脑鼠运行算法的研究[A];全国第20届计算机技术与应用学术会议(CACIS·2009)暨全国第1届安全关键技术与应用学术会议论文集(上册)[C];2009年
4 孔垂柳;田地;;基于程序设计思想的C语言教学方案[A];2005全国计算机程序设计类课程教学研讨会论文集[C];2005年
5 陈家照;罗寅生;;群智能优化算法研究[A];第三届中国智能计算大会论文集[C];2009年
6 张家超;孔媛媛;;结合SVM与免疫遗传算法设计IDS的检测算法[A];2008年全国开放式分布与并行计算机学术会议论文集(下册)[C];2008年
7 宁泽洪;董占勇;徐达旺;;基于CCDF的微波功率统计测量的算法设计[A];2011年全国微波毫米波会议论文集(下册)[C];2011年
8 洪露;穆志纯;;一种新的克隆混沌调节算法的研究[A];第二十六届中国控制会议论文集[C];2007年
9 王俊松;吴真;储健;;直流电路CAI系统的算法设计[A];第七届青年学术会议论文集[C];2005年
10 张君海;石成英;林辉;;一种带角度修正的迭代学习控制算法[A];中国系统仿真学会第五次全国会员代表大会暨2006年全国学术年会论文集[C];2006年
中国博士学位论文全文数据库 前10条
1 胡扬;人工代谢算法若干问题研究[D];中南大学;2010年
2 张常淳;基于MapReduce的大数据连接算法的设计与优化[D];中国科学技术大学;2014年
3 孙贺;算法设计中的若干前沿问题[D];复旦大学;2009年
4 廖鑫;高效隐写算法的设计研究[D];北京邮电大学;2012年
5 任志磊;组合优化问题的特化与泛化算法设计[D];大连理工大学;2013年
6 许增福;DL环境下的信息资源管理及知识发现研究[D];哈尔滨工程大学;2005年
7 王赞;基于染色体自交叉Memetic算法的教学调度问题研究[D];天津大学;2010年
8 尤明厚;MIMO接收机技术与编码优化研究[D];北京邮电大学;2010年
9 徐悦竹;机会发现算法及其应用研究[D];哈尔滨工程大学;2010年
10 刘刚;无线协作网络的中继节点选择问题研究[D];中国科学技术大学;2013年
中国硕士学位论文全文数据库 前10条
1 陈熠;基于代谢路径的生物网络比对算法[D];西安电子科技大学;2009年
2 陈丹;基于遗传聚类的社团发现算法研究[D];西南交通大学;2014年
3 王丽;图论在算法设计中的应用[D];西安电子科技大学;2010年
4 王双记;类电磁机制算法的改进与应用[D];西安电子科技大学;2012年
5 刘旭;人工植物算法向地性算子的设计[D];太原科技大学;2013年
6 熊卫卫;高校排课系统算法设计与实现[D];吉林大学;2004年
7 李海生;蜂群算法及其在垂直Web搜索中的应用[D];广州大学;2010年
8 郭江坤;射频识别技术中防冲撞算法的研究[D];西安建筑科技大学;2012年
9 贾瑞民;人工蜂群算法的改进及应用研究[D];广西民族大学;2013年
10 张星;基因表达式编程的改进及其在麦蚜种群预测模型构建中的应用[D];西安建筑科技大学;2013年
中国重要报纸全文数据库 前10条
1 ;算法设计的策略[N];电脑报;2003年
2 李剑 朱延峰 吴畏;勇于挑战“最高峰”[N];新清华;2007年
3 杨杨;姚期智:归去来兮[N];人民日报海外版;2007年
4 PALADIN;化整为零,变繁为简[N];电脑报;2003年
5 ;突破五道“关”[N];计算机世界;2003年
6 中国消费者报 胡军;国产DC品牌面临困局[N];中国消费者报;2005年
7 王慧芳;江苏首届大学生程序设计竞赛举行[N];中国电子报;2008年
8 覃特;上海交大的胜利,谁的隐忧?[N];中国计算机报;2005年
9 主持人:刘江;.NET图书咀华(上)[N];中华读书报;2006年
10 本报记者 张宪春;周厚健:中国企业当自强[N];中华工商时报;2005年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978