收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于MapReduce的任务算子框架在大数据分析平台上的设计和实现

李浩波  
【摘要】:随着云计算时代的到来,大数据技术也迅速发展起来。由于大数据呈现体量巨大、种类繁多、处理速度快和价值密度低等特征,传统的数据存储、提取、转换和分析等技术并不适用,因此需要新的大数据应用技术的解决方案。近年来,对大数据技术的研究,在不同行业和多个领域里面蓬勃开展,赢得了产业界和学术界的高度关注,并引领我国未来的信息化浪潮。如今海量数据已经能够结合大数据存储、处理和分析技术的研究成果,挖掘出高质量的知识和信息。现阶段主流的大数据工具主要是围绕Hadoop分布式系统基础架构的多种开源组件,包括HDFS、YARN、Zookeeper等。使用这些组件构建的大数据分析平台,由数据接入、数据存储、并行计算和平台管理等部分组成,提供从数据采集到数据存储,再到数据分析和数据可视化等基本功能。其中数据分析功能是通过研究不同场景下的大数据特点,利用成熟的并行计算框架,开发出特定的分析应用,从而实现对大数据的并行化处理。本文在现有的大数据分析平台的基础上,提出了基于MapReduce的任务算子模型的设计和实现。模型利用Avro序列化框架的结构化优点,形成一个处理大数据分析需求的框架。框架解决了传统并行计算框架缺乏灵活的组合方式,导致重复编程和额外的应用维护成本,也无法针对结构化的数据源有效地进行优化的问题。使用任务算子框架进行大数据分析,能够降低编程复杂性和数据耦合性,同时提高模块复用性。用户根据实际需要,通过组合多种类型的任务算子,形成分析应用的执行流程,从而达到无需或者少量编程,高效分析以及快速构建应用等效果。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 谢俊凯;胡伟;柏文阳;;基于MapReduce的对象共指消解方法[J];计算机科学与探索;2012年04期
2 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期
3 司方豪;钟春琳;;使用MapReduce提高多路数组聚集效率[J];电脑编程技巧与维护;2014年10期
4 曾小团,农孟松,黄翠银;百色地区预报分析平台的开发与应用[J];广西气象;2002年03期
5 黄哲学;陈小军;李俊杰;王强;;面向服务的大数据分析平台解决方案[J];科技促进发展;2014年01期
6 王得燕;;以计算机专业为分析平台指导毕业生正确就业[J];科教文汇(上旬刊);2008年02期
7 成静静;喻朝新;;基于云计算的大数据统一分析平台研究与设计[J];广东通信技术;2013年01期
8 李伟坚;李溢杰;张正峰;李星南;仝晓明;;导向性场景分析平台的研究与实现[J];电信技术;2013年10期
9 翟东升;蔡万江;陈晨;黄鲁成;赵京;;基于MapReduce构建专利技术功效图的研究[J];情报杂志;2013年06期
10 师彪,于新花;企业分析系统——智能分析平台研究和新算法模型综述[J];计算机应用研究;2004年01期
11 廖琼明;银行数据统计分析平台的实现[J];中国金融电脑;2003年11期
12 黄震;黄云;;网络学习行为分析平台学习模式的设计与研究[J];软件导刊;2010年03期
13 ;Hadoop必将风靡2012年的六个理由[J];硅谷;2011年23期
14 ;智慧发现 不让大数据与我们擦肩而过[J];图书情报工作;2013年22期
15 贾瑞玉;刘范范;潘雯雯;王伟东;;基于MapReduce模型的并行量子进化算法[J];计算机工程;2012年08期
16 卢彦卿;李君;赵振东;张顺颐;;网络业务流统计分析平台的设计与实现[J];电信快报;2007年07期
17 曾庆光;;轻量级数据处理和分析平台设计与应用[J];金融科技时代;2013年04期
18 亢丽芸;王效岳;白如江;;MapReduce原理及其主要实现平台分析[J];现代图书情报技术;2012年02期
19 周涛;贺其备;黄光明;林和平;;基于MapReduce的海量图像处理模型的研究[J];信息技术;2013年11期
20 林少丹;韩国强;;一个财政业务智能分析平台的设计与实现[J];微计算机信息;2007年15期
中国重要会议论文全文数据库 前5条
1 郑宇瀚;郭燕慧;;一种针对流水线任务的云计算模型基于MapReduce的改进[A];2013年中国信息通信研究新进展论文集[C];2014年
2 华中杰;徐锡山;杨树强;田胜利;;MapReduce本地优先作业调度策略研究与实现[A];第九届中国通信学会学术年会论文集[C];2012年
3 陈林;程登发;田喆;孙京瑞;;有害生物潜在分布预测分析平台研发[A];植物保护与现代农业——中国植物保护学会2007年学术年会论文集[C];2007年
4 何礼富;王鹏;;煤矿综合决策分析平台的功能设计及关键技术探讨[A];第九届全国采矿学术会议暨矿山技术设备展示会论文集[C];2012年
5 郭晓楠;钱磊;;基于外置式PXI构架的制导舱测试与分析平台设计[A];2010航空试验测试技术学术交流会论文集[C];2010年
中国博士学位论文全文数据库 前1条
1 王伟;算子组的动力学性质[D];重庆大学;2017年
中国硕士学位论文全文数据库 前10条
1 李浩波;基于MapReduce的任务算子框架在大数据分析平台上的设计和实现[D];华南理工大学;2017年
2 王姗姗;MapReduce框架下并行有序决策树及有序决策森林[D];河北大学;2015年
3 金鹏;MapReduce框架下基于阈值约束的空间文本相似连接[D];燕山大学;2015年
4 周鸣爱;云计算中MapReduce高可用性和高效性的优化研究[D];河北工程大学;2015年
5 戴佳男;基于MapReduce模型的海量邮件社交关系分析研究[D];南京理工大学;2015年
6 闫晓妩;MapReduce下的约束频繁模式挖掘与任务调度[D];太原科技大学;2015年
7 王强;基于MapReduce的大数据增量处理研究[D];东北大学;2014年
8 魏博文;基于MapReduce的XML编码查询算法研究与实现[D];武汉纺织大学;2016年
9 张鹏;基于MapReduce的分布式社区发现算法研究[D];燕山大学;2016年
10 段秋丹;基于MapReduce的文献发现系统研究与设计[D];山东大学;2016年
中国重要报纸全文数据库 前10条
1 刘霞;用友签约信地置业提供数据分析平台[N];中国质量报;2010年
2 YMG记者;加强监管 依法行政[N];烟台日报;2011年
3 江景叨 吴国宗;海宁市推出审计数据智能分析平台[N];中国审计报;2011年
4 《网络世界》记者 于翔;惠普推出大数据分析平台HAVEn[N];网络世界;2013年
5 本报记者 王博;比目云携手Actian推大数据分析平台[N];计算机世界;2014年
6 福禄克网络公司市场部总监 蔡昌信;全方位提升网络优化与维护[N];网络世界;2008年
7 本报记者 许继楠;解读IBM InfoSphere大数据分析平台[N];中国计算机报;2012年
8 本报记者 霍娜;2011年软件 大数据时代下走向软硬一体化[N];中国计算机报;2011年
9 通讯员 陈进 记者 朱敏丽;春兰建成新版仿真设计平台[N];泰州日报;2009年
10 本报记者 李国敏;新一代企业数据管理分析平台横空出世[N];科技日报;2005年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978