收藏本站
《云南大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

基于hadoop平台作业调度算法的研究

余正祥  
【摘要】:互联网技术的迅猛发展,互联网数据呈现爆炸性的增长,面临海量数据处理问题。云计算作为—种新的模型提出来,发展极为迅速。云计算开源系统Hadoop模仿和实现了Google云计算的主要技术,并获得广泛的应用。Hadoop是一个在不断发展和完善的平台,在Hadoop研究中作业调度的研究是学术界和工业界的热点问题之一。改进和提高作业调度能力,能提升海量数据处理的能力。对提高Hadoop平台的性能和资源利用效率都有重要的现实意义。 本文首先介绍了Hadoop的技术背景,其次介绍了Hadoop平台的核心部分,即Hadoop的分布式文件系统(HDFS)和MapReduce计算框架,详细分析了Hadoop的作业调度流程。接着研究了Hadoop平台下现有的调度算法,即FIFO算法,计算能力算法,公平调度算法。详细研究了公平调度算法。 在对Hadoop平台深入了解和对其作业调度算法进行详细研究下,提出对作业调度算法的改进。首先,分析了公平调度算法的数据本地化问题,分析其中的延迟改进算法,在此算法的基础上,提出保证响应时间T的延迟算法,来保证特殊用户(如:付费用户)的服务水平协议(SLA)要求,这里主要针对短作业。其次,希望通过利用过去的节点历史记录和学习作业属性来不断的改进作业调度,提出应用基于特征加权的朴素贝叶斯分类器算法来改进作业调度的任务分配,详细分析了算法的设计思想,并进行原型的设计和实现。 最后通过实验环境的搭建来测试改进算法,首先测试了保证特定响应时间T的延迟算法,实验证明到达了响应时间T的要求,但损失了部分的数据本地化。其次,测试了基于特征加权的朴素贝叶斯分类调度算法,对其学习的能力,特征加权对性能的影响,决策的正确率以及与现有调度算法的性能进行试验对比分析。
【学位授予单位】:云南大学
【学位级别】:硕士
【学位授予年份】:2011
【分类号】:TP301.6

【引证文献】
中国期刊全文数据库 前1条
1 苏小会;何婧媛;;Hadoop中任务调度算法的改进[J];电子设计工程;2012年22期
中国硕士学位论文全文数据库 前1条
1 邰建华;Hadoop平台下的海量数据存储技术研究[D];东北石油大学;2012年
【参考文献】
中国期刊全文数据库 前3条
1 王峰;;Hadoop集群作业的调度算法[J];程序员;2009年12期
2 邓维斌;王国胤;王燕;;基于Rough Set的加权朴素贝叶斯分类算法[J];计算机科学;2007年02期
3 王凯;吴泉源;杨树强;;一种多用户MapReduce集群的作业调度算法的设计与实现[J];计算机与现代化;2010年10期
中国硕士学位论文全文数据库 前2条
1 赵春燕;云环境下作业调度算法研究与实现[D];北京交通大学;2009年
2 张密密;MapReduce模型在Hadoop实现中的性能分析及改进优化[D];电子科技大学;2010年
【共引文献】
中国期刊全文数据库 前10条
1 李爱军,罗四维,刘蕴辉,黄华;信息理论框架下的神经网络构建[J];北京交通大学学报;2005年02期
2 王宇晖;业宁;沈丽容;;单翼分解下的纯度函数失效分析[J];北京交通大学学报;2009年06期
3 冯志新;蔡玉俊;黎振;潘鑫;;基于k-均值聚类算法的模具型腔曲面分片加工研究[J];北京工业大学学报;2012年05期
4 王瑜;穆志纯;徐正光;骆佳佳;;基于核典型相关分析的姿态人耳、人脸多模态识别[J];北京科技大学学报;2008年10期
5 裴晓梅;郑崇勋;;基于Adaboost技术的大脑运动意识任务分类[J];北京生物医学工程;2008年05期
6 王兰莎;张国英;沙芸;;复杂矿石图像的特征提取与聚类[J];北京石油化工学院学报;2010年04期
7 张世博;周义明;;一种优化初始化中心的k均值web信息聚类算法[J];北京石油化工学院学报;2011年04期
8 徐鹏;陈思;苏森;;互联网应用PaaS平台体系结构[J];北京邮电大学学报;2012年01期
9 唐玉志;马远良;蔡宗义;吴祖堂;王占江;;地下化学爆炸地运动信号关联探索[J];爆炸与冲击;2009年05期
10 刘茂;;一种基于模糊神经网的超短波信号自动识别算法[J];成都信息工程学院学报;2007年05期
中国重要会议论文全文数据库 前6条
1 林达真;李绍滋;;基于模式分类的汉语时态确定方法研究[A];第六届汉语词汇语义学研讨会论文集[C];2005年
2 卫颖奇;彭进业;;一种基于混合模型的特征提取方法[A];第三届全国嵌入式技术和信息处理联合学术会议论文集[C];2009年
3 张星星;黎宁;李文灿;;基于水表自动判读系统的半字识别算法[A];全国第20届计算机技术与应用学术会议(CACIS·2009)暨全国第1届安全关键技术与应用学术会议论文集(上册)[C];2009年
4 欧阳琰;桑农;;基于面部动作单元组合特征的表情识别[A];第十五届全国图象图形学学术会议论文集[C];2010年
5 刘尊洋;汪作来;王自荣;余大斌;孙晓泉;;基于谱系法改进FCM的仿造迷彩主色提取方法[A];第九届全国光电技术学术交流会论文集(上册)[C];2010年
6 华中杰;徐锡山;杨树强;田胜利;;MapReduce本地优先作业调度策略研究与实现[A];第九届中国通信学会学术年会论文集[C];2012年
中国博士学位论文全文数据库 前10条
1 殷志伟;基于统计学习理论的分类方法研究[D];哈尔滨工程大学;2009年
2 时长江;豆科类杂草种子图像识别系统研究[D];中国海洋大学;2009年
3 李一啸;基于复杂网络和演化博弈理论的社会[D];浙江大学;2010年
4 罗向阳;数字图像隐写检测关键问题研究[D];解放军信息工程大学;2010年
5 彭建芬;P2P流量识别关键技术研究[D];北京邮电大学;2011年
6 薛洋;基于单个加速度传感器的人体运动模式识别[D];华南理工大学;2011年
7 蒋胜利;高维数据的特征选择与特征提取研究[D];西安电子科技大学;2011年
8 李剑;PSTN话带数据分离与调制识别[D];解放军信息工程大学;2009年
9 薛富强;进化RBF神经网络分类器研究[D];解放军信息工程大学;2009年
10 程环环;基于贝叶斯网络的图像内容表述与分类[D];国防科学技术大学;2011年
中国硕士学位论文全文数据库 前10条
1 韩晓峰;高斯混合模型及在探测网络社区结构中的应用[D];山东科技大学;2010年
2 叶铂;基于统计学方法的水面目标特征提取与识别方法的研究[D];哈尔滨工程大学;2010年
3 张宝华;支持向量机在入侵检测系统中的研究和应用[D];天津理工大学;2010年
4 刘怀愚;静态图像的车辆检测算法研究[D];淮北师范大学;2010年
5 张云鹏;发动机机械故障诊断系统特征提取算法研究[D];长春工业大学;2010年
6 熊超;视频图像中运动车辆检测与跟踪技术的研究[D];南昌大学;2010年
7 贺建军;基于SVM的客户流失预测研究[D];昆明理工大学;2009年
8 兰远鸽;基于SAR影像的变化检测技术研究[D];解放军信息工程大学;2010年
9 杨大海;极化SAR相干斑抑制若干问题研究[D];解放军信息工程大学;2010年
10 苏畅;基于计算机视觉的木材表面缺陷检测研究[D];中南林业科技大学;2008年
【同被引文献】
中国期刊全文数据库 前10条
1 袁雪莉;钟明洋;;改进遗传算法的并行任务调度[J];计算机工程与应用;2011年10期
2 陈全;邓倩妮;;云计算及其关键技术[J];计算机应用;2009年09期
3 曹宁;吴中海;刘宏志;张齐勋;;HDFS下载效率的优化[J];计算机应用;2010年08期
4 王凯;吴泉源;杨树强;;一种多用户MapReduce集群的作业调度算法的设计与实现[J];计算机与现代化;2010年10期
5 王润华;;基于Hadoop集群的分布式日志分析系统研究[J];科技信息;2009年15期
6 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期
7 许春玲;张广泉;;分布式文件系统Hadoop HDFS与传统文件系统Linux FS的比较与分析[J];苏州大学学报(工科版);2010年04期
8 刘小虎;蒋从锋;王乘;;基于网格的分布式虚拟环境仿真海量数据管理[J];计算机工程与设计;2008年04期
9 刘琨;李爱菊;董龙江;;基于Hadoop的云存储的研究及实现[J];微计算机信息;2011年07期
10 郑启龙;房明;汪胜;王向前;吴晓伟;王昊;;基于MapReduce模型的并行科学计算[J];微电子学与计算机;2009年08期
中国硕士学位论文全文数据库 前10条
1 施岩;云计算研究及Hadoop应用程序的开发与测试[D];北京邮电大学;2011年
2 任萱萱;基于Hadoop平台的作业调度研究[D];天津师范大学;2011年
3 陈剑锐;基于Hadoop海量数据存储仿真平台的研究与设计[D];华南理工大学;2011年
4 谢桂兰;基于Eucalyptus云平台的Hadoop集群研究[D];成都理工大学;2011年
5 宋坤芳;基于蚁群算法的云计算资源调度策略研究[D];武汉纺织大学;2011年
6 朱珠;基于Hadoop的海量数据处理模型研究和应用[D];北京邮电大学;2008年
7 付志超;基于Map/Reduce的分布式智能搜索引擎框架研究[D];武汉理工大学;2008年
8 赵春燕;云环境下作业调度算法研究与实现[D];北京交通大学;2009年
9 陈勇;基于Hadoop平台的通信数据分布式查询算法的设计与实现[D];北京交通大学;2009年
10 邓自立;云计算中的网络拓扑设计和Hadoop平台研究[D];中国科学技术大学;2009年
【二级参考文献】
中国期刊全文数据库 前10条
1 马学彬;温涛;郭权;王刚;;一种基于遗传算法的网格任务调度算法[J];东北大学学报(自然科学版);2007年07期
2 李立;;GridSim网格仿真工具研究[J];电脑知识与技术(学术交流);2007年13期
3 冯大辉;;云计算中的存储[J];程序员;2008年11期
4 王峰;;Hadoop集群作业的调度算法[J];程序员;2009年12期
5 王国胤,于洪,杨大春;基于条件信息熵的决策表约简[J];计算机学报;2002年07期
6 罗红,慕德俊,邓智群,王晓东;网格计算中任务调度研究综述[J];计算机应用研究;2005年05期
7 田翠华;常桂然;金海月;游新冬;;网格模拟技术分析[J];计算机应用研究;2007年02期
8 周锋;李旭伟;;一种改进的MapReduce并行编程模型[J];科协论坛(下半月);2009年02期
9 刘鹏;赵伟;;反垃圾邮件网格清扫网络[J];软件世界;2006年13期
10 王双成,苑森淼;具有丢失数据的贝叶斯网络结构学习研究[J];软件学报;2004年07期
中国重要会议论文全文数据库 前1条
1 秦宇强;冯秀芳;余雪丽;;网格计算中保证QoS的Agent技术[A];全国ISNBM学术交流会暨电脑开发与应用创刊20周年庆祝大会论文集[C];2005年
中国硕士学位论文全文数据库 前3条
1 陈莹;基于遗传算法的网格任务调度研究及实现[D];四川大学;2006年
2 张涛;基于网格计算经济模型的资源调度算法研究[D];江南大学;2006年
3 孟令芬;pc集群作业调度算法研究[D];中国石油大学;2009年
【相似文献】
中国期刊全文数据库 前10条
1 王润华;;基于Hadoop集群的分布式日志分析系统研究[J];科技信息;2009年15期
2 卢正鼎;双机系统上的一个作业调度算法[J];华中科技大学学报(自然科学版);1985年06期
3 顾立尧,邓桂英;排课程序时间片选择的安全决策调度算法[J];上海理工大学学报;1986年03期
4 王凯;吴泉源;杨树强;;一种多用户MapReduce集群的作业调度算法的设计与实现[J];计算机与现代化;2010年10期
5 张飞;陈涛;黄景廉;;基于可信度策略的校园网格作业调度算法[J];东南大学学报(自然科学版);2008年S1期
6 丁敏敏;贾永库;;基于插件机制的网格作业调度研究[J];计算机工程;2010年21期
7 祖研;帅仁俊;陈平;;基于分布式文件系统的图片存储服务的研究[J];通信技术;2011年04期
8 周丽,董薇,宋义;集群系统下的动态网络负载平衡[J];电测与仪表;2005年01期
9 俞华锋;;基于效益函数的云计算调度算法的研究[J];科技信息;2011年03期
10 薛正华;刘伟哲;董小社;伍卫国;;基于思维进化的集群作业调度方法研究[J];西安交通大学学报;2008年06期
中国重要会议论文全文数据库 前10条
1 张佳宝;周斌;吴泉源;;基于Hadoop的并行化命名实体识别技术研究与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
2 金松昌;方滨兴;杨树强;贾焰;;基于Hadoop的网络安全日志分析系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
3 丁辉;张大华;罗志明;;基于Hadoop的海量数据处理平台研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年
4 林佳烨;;云计算在电信行业数据分析领域的应用[A];广东通信2010青年论坛优秀论文集[C];2010年
5 华清;黄林鹏;;基于分片、松耦合的分布式文件系统的设计与实现[A];2006年全国开放式分布与并行计算学术会议论文集(二)[C];2006年
6 邢海韬;黄孜祺;肖健;;应用动态管理技术优化海量数据管理[A];广西计算机学会2008年年会论文集[C];2008年
7 洪穗;;微软WINDOWS Server 2003 R2分布式文件系统解决方案分析[A];中国新闻技术工作者联合会2008年学术年会论文集(上)[C];2008年
8 朱平;朱建涛;高剑刚;蒋金虎;;高性能计算存储关键技术研究[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
9 付伟;肖侬;卢锡城;;GridDenFS:一种基于聚集与虚拟视图的网格文件系统[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
10 程果;陈荦;景宁;赵亮;左怀玉;;一种遥感影像的层次化组织分布式存储管理方法[A];第二十五届中国数据库学术会议论文集(一)[C];2008年
中国重要报纸全文数据库 前10条
1 孙定;云计算、大数据与Hadoop[N];计算机世界;2011年
2 本报记者 马文方;Hadoop:云中起舞的小象[N];中国计算机报;2010年
3 本报记者 刘洪宇;Hadoop的中国前途[N];中国计算机报;2009年
4 ;分布式文件系统一瞥[N];网络世界;2002年
5 王春海 刘立;分布式文件系统在网络中的应用[N];电脑报;2004年
6 本报记者 于翔;“大数据”的大承诺[N];网络世界;2010年
7 丘永萍;云存储是一种服务[N];中国城乡金融报;2010年
8 本报记者 刘箐箐;Informatica:大数据带来大机遇[N];计算机世界;2011年
9 ;Windows Server2003的10个特点[N];计算机世界;2003年
10 美田摘编;Storage Tank:实现文件级的虚拟化[N];计算机世界;2003年
中国博士学位论文全文数据库 前10条
1 顾学民;分布式制造环境下的作业调度研究[D];西北工业大学;2006年
2 赵铁柱;分布式文件系统性能建模及应用研究[D];华南理工大学;2011年
3 叶建伟;云计算系统中作业安全技术研究[D];哈尔滨工业大学;2011年
4 史恒亮;云计算任务调度研究[D];南京理工大学;2012年
5 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
6 姜建华;数据网格几个关键技术的研究[D];吉林大学;2010年
7 李彭军;医学影像云服务平台基础架构研究与实践[D];南方医科大学;2011年
8 林琳;基于网格数据交换区的网格作业性能优化[D];吉林大学;2011年
9 黄华;蓝鲸分布式文件系统的资源管理[D];中国科学院研究生院(计算技术研究所);2005年
10 涂旭东;基于对象的并行文件系统接口语义扩展研究[D];华中科技大学;2011年
中国硕士学位论文全文数据库 前10条
1 余正祥;基于hadoop平台作业调度算法的研究[D];云南大学;2011年
2 夏祎;Hadoop平台下的作业调度算法研究与改进[D];华南理工大学;2010年
3 陈艳金;MapReduce模型在Hadoop平台下实现作业调度算法的研究和改进[D];华南理工大学;2011年
4 陆路;云环境下作业调度算法研究[D];南京理工大学;2013年
5 遆鸣;云计算下计算能力调度算法的研究与改进[D];太原理工大学;2012年
6 邰建华;Hadoop平台下的海量数据存储技术研究[D];东北石油大学;2012年
7 高蓟超;Hadoop平台存储策略的研究与优化[D];北京交通大学;2012年
8 张烨;Jackrabbit封装Hadoop的研究及在内容管理系统中的应用[D];北京邮电大学;2011年
9 杨帆;Hadoop平台高可用性方案的设计与实现[D];北京邮电大学;2012年
10 郑天红;基于Hadoop的网络流量分流并行化设计与实现[D];内蒙古大学;2012年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026