收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

云计算任务调度研究

史恒亮  
【摘要】:云计算开辟了Internet发展的新时代,将带动软件、硬件、通信和物联网等产业的繁荣,是人类社会实现“智慧地球”的一个里程碑。云计算是并行计算、分布式计算、网格计算的融合和发展,是集软件技术、硬件技术、虚拟技术、网络技术于一体的一场革命。 云计算要实现的目标是让Internet上的资源(计算资源、网络资源、存储资源等)象水和电一样在网络上按需分配,并能够根据请求任务复杂性和数据集合大小合理的动态调整。目前,云计算任务调度的相关研究主要集中在Hadoop模型和MapReduce编程模型,Hadoop的提出对于解决数据密集型的简单查询具有很强的优势,其本质是在不同的数据集合上进行相同的操作,更大程度上倾向于数据的分布性(并行性),对于由众多子任务构成的复杂任务请求,其并行性受到很大的限制。同时其内置的FIFO(First In First Out)算法、FS(Fair_Scheduling)算法、CS(Capacity_Scheduling)算法存在QoS(Quality of Service)差、频繁调度、资源碎片多、不够灵活等弊端,因此本文从调度模型和调度算法两个方面进行了研究,主要创新点有: (1)针对复杂任务,提出了改进的MapReduce模型,该模型保留了原Hadoop模型数据并行性优点的同时,能够在架构上实现真正的任务分解和并行计算,大大扩展了MapReduce模型的并行性。改进的MapReduce模型在Map过程开始之前增加了任务分解过程,将复杂任务的DAG(Directed Acyclic Graph)图转化为MCST(Minimum Cost Spanning Tree)最小生成树,为任务执行提供了可以信赖的最小执行时间依据。该模型大大扩展了Hadoop架构的应用领域,将主要应用于商业和重交互式领域的Hadoop架构拓展到了科学计算领域,为那些只熟悉MPI(Message Passing Interface)的科研工作者提供了可以利用廉价商用PC从事科研的系统架构。 (2)针对用户多类型、多粒度的任务请求,提出了基于ACO的云计算任务调度算法,该算法把ACO算法的动态性、并行性融合到了Hadoop架构中,充分发挥了并行性和分布性,避免了Hadoop中经典算法在处理大粒度任务时造成众多小粒度任务等待时间过长的问题,增强了交互性。通过智能的全局信息素更新和局部信息素更新方法,以及设定信息素的最大值和最小值手段,降低了算法陷入局部最优的可能性。ACO算法的启发式调度非常适合在资源提供和任务请求动态发生改变的环境下,利用信息素的动态改变来找到全局最优解。 (3)针对普通商用PC作为具有多种属性的独立资源个体的虚拟化程度不高的云计算,提出了基于概率模型的多目标查询处理Skyline方法,Slave节点通过对比Master下传的概率阈值和近似度来查询出高于概率阈值的节点,并把性能参数上传给Master节点,过滤出大多数不适合多目标任务分配的处理机节点,大大提高了节点性能参数数据的比重,降低了网络数据传输量,减小了Master节点处理数据的负担;其采用的主动申请方式,规避了Hadoop模型中Heartbeat大小对任务执行的负面影响。该方法融合了Skyline查询和Hadoop模型内置FIFO算法的特点,查询效率和分配效率得到了充分的发挥。 (4)针对任务粒度差异过大,固定资源分配容易造成资源浪费或负载过重的问题,提出了一种根据任务粒度大小和资源多寡进行任务调度的弹性模型,模型中的自由节点可以加入重度负载的节点聚簇,或撤离轻度负载的节点聚簇;节点聚簇类似于在Master节点和Slave节点之间又构建了一层计算单元,单元中的资源成员是非固定的、无形的,随着任务的创建而组合,随着任务的完成而消失。当节点聚簇中的节点负载率过高时,会有自由节点加入;当节点聚簇中的节点负载率过低时,会有自由节点撤离节点聚簇。该模型突破了以往弹性计算“时间换质量”的束缚,开创了“空间换质量”的弹性计算模式,大大地提升了系统的灵活性和扩展性。 最后,对该博士论文中提出的调度模型和调度算法的创新性方面进行了总结,并对今后云计算的发展和任务调度的研究方向进行了展望,指出可重构性、可扩展性、可用性、数据存储布局优化问题、任务聚簇和任务复制将是下一步研究的重点和难点。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 孔晓红;叶宾;须文波;;多目标蚁群优化网格调度算法[J];计算机工程与应用;2007年30期
2 傅明;刘凯雄;肖静;;一种用于网格的启发性智能调度策略[J];计算机技术与发展;2006年11期
3 黄学雨;何焕;戴志晃;;基于Min-Min和蚁群算法的网格任务调度方法[J];计算机时代;2009年07期
4 亓旭光;梁正友;;基于蚁群算法的网格资源分配与调度研究[J];广西民族学院学报(自然科学版);2006年02期
5 马廷淮;闫荞荞;王彬;薛胜军;;基于元任务的网格调度算法综述[J];武汉理工大学学报;2010年16期
6 胡毅;龚斌;刘运臣;;基于蚁群算法的多QoS约束海量数据网格任务调度[J];华中科技大学学报(自然科学版);2007年S2期
7 杨亚红;吴龟灵;陈建平;李新碗;戴维;;基于蚁群优化算法的网格OBS任务调度研究[J];电子技术;2009年03期
8 陈欢欢;刘宴兵;;基于自适应调度的网格容错机制研究[J];微电子学与计算机;2010年02期
9 黄瑾;金海;谢夏;张琴;;网格系统中的层次化资源分配与任务调度[J];华中科技大学学报(自然科学版);2006年10期
10 魏东;吴良杰;佐丹;刘刚;;基于混合蚁群算法的网格任务调度[J];计算机工程;2010年03期
11 祁超;张璟;李军怀;;基于蚁群系统的网格资源分配与任务调度(英文)[J];Journal of Southeast University(English Edition);2007年03期
12 付新华;肖明清;夏锐;;基于蚁群算法的并行测试任务调度[J];系统仿真学报;2008年16期
13 梁正友;支成秀;;融合PSO与ACS的网格资源分配研究[J];计算机工程与应用;2009年09期
14 张金标;陈科;;并行设计任务调度的自适应蚁群算法[J];计算机辅助设计与图形学学报;2010年06期
15 梁鸿;田世峰;;基于改进蚂蚁算法的网格任务调度策略研究[J];电子技术应用;2006年11期
16 陈祥国;武小悦;;蚁群算法在卫星数传调度问题中的应用[J];系统工程学报;2009年04期
17 胡宏政;黄琦;;基于遗传算法的网格任务调度研究[J];计算机时代;2006年03期
18 张青波;;一种实时内核任务调度机制的设计[J];浙江工商职业技术学院学报;2006年02期
19 胡鸿豪;吴勇翀;文琳莉;宁小平;;基于Linux多任务操作系统扫频仪的研究[J];现代电子技术;2008年04期
20 蒋卓材;黄文明;雷领红;;基于混合遗传与禁忌搜索的网格任务调度的研究[J];计算机与现代化;2008年05期
中国重要会议论文全文数据库 前10条
1 赖华;王勇;;网格环境中基于改进蚂蚁算法任务调度的研究[A];江苏省现场统计研究会第十次学术年会论文集[C];2006年
2 杨舰;黄道平;李小亚;;GDCS任务调度的SPN模型研究[A];第二十六届中国控制会议论文集[C];2007年
3 许可;史海波;;基于多Agent的分散网络化制造企业任务调度[A];2003中国控制与决策学术年会论文集[C];2003年
4 王璐璐;张素伟;任颉;;网格调度算法[A];《制造业自动化与网络化制造》学术交流会论文集[C];2004年
5 张会福;陈然;;遗传算法的群体分组并行研究[A];2009年全国开放式分布与并行计算机学术会议论文集(上册)[C];2009年
6 王璐璐;张素伟;任颉;;网格调度算法[A];先进制造技术论坛暨第三届制造业自动化与信息化技术交流会论文集[C];2004年
7 张道德;杨光友;苏旭武;丁毅;;基于ARM架构移植μC/OS-Ⅱ的任务调度[A];2005年十二省区市机械工程学会学术年会论文集(湖北专集)[C];2005年
8 颜桐;李巍;李云春;;计算网格环境下以QoS为指导的启发式任务调度[A];2006年全国开放式分布与并行计算学术会议论文集(二)[C];2006年
9 贺晓丽;;一种用于解决并行任务分布问题的广义遗传算法[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集(上)[C];2008年
10 黄鲲;王知衍;翁小雄;;树形异构网格的启发任务调度算法[A];2007年全国开放式分布与并行计算机学术会议论文集(下册)[C];2007年
中国博士学位论文全文数据库 前10条
1 史恒亮;云计算任务调度研究[D];南京理工大学;2012年
2 刘彦;异构多核片上系统的任务调度及应用研究[D];湖南大学;2009年
3 汤绍勋;天基预警低轨星座星载传感器资源管理与预警探测任务调度问题研究[D];国防科学技术大学;2011年
4 黄万伟;基于服务属性区分的可重构任务调度研究[D];解放军信息工程大学;2009年
5 韩海雯;MapReduce计算任务调度的资源配置优化研究[D];华南理工大学;2013年
6 瞿进;可重构系统软硬功能划分及任务调度技术研究[D];解放军信息工程大学;2011年
7 熊曾刚;集成P2P模式的网格资源发现模型、算法与任务调度研究[D];北京科技大学;2009年
8 陈锡明;基于NOW的任务调度和负载平衡方法研究[D];电子科技大学;2000年
9 郭夙昌;网格服务可靠性建模及任务调度优化研究[D];电子科技大学;2010年
10 杨博;网格任务调度与优化机制研究[D];中南大学;2008年
中国硕士学位论文全文数据库 前10条
1 刘沙;可重构系统任务调度与系统级FPGA抗辐照设计[D];复旦大学;2010年
2 张勇;分布式系统中处理机的任务调度算法研究[D];江南大学;2008年
3 李星;网格技术研究和基于蚂蚁算法的任务调度仿真器设计[D];河北工业大学;2004年
4 支成秀;基于离散粒子群优化算法的网格任务调度方法[D];广西大学;2007年
5 钟旭;基于混合遗传算法的异构网格任务调度[D];山东大学;2010年
6 张祖礼;网格计算中带有资源属性选择的任务调度的设计与实现[D];哈尔滨工业大学;2010年
7 贾志强;嵌入式操作系统μCOS的移植与测试[D];太原理工大学;2004年
8 王崇阳;网格环境下基于蚁群算法对资源分配与调度的方法研究[D];长春理工大学;2007年
9 车晓雪;基于遗传算法的网格任务调度研究[D];青岛大学;2007年
10 符晓青;改进的蚁群算法在网格任务调度中的研究[D];大连交通大学;2010年
中国重要报纸全文数据库 前10条
1 曲芳 戴江勇 龚界文 院宣 肖文正 杨丽;坚决落实型号任务调度令[N];中国航天报;2008年
2 何川 方兴;运筹帷幄决胜千里[N];计算机世界;2001年
3 ;五大管理市场细分报告解读[N];网络世界;2007年
4 王波;Linux与服务器集群技术[N];中国计算机报;2002年
5 中国铁通集团有限公司 张胡笳 北京瑞斯康达科技发展有限公司 秦萌;接入层安全管理从“小”做起[N];通信产业报;2006年
6 ;基于SOC/IP的智能传感器设计研究(下)[N];电子报;2007年
7 ;实现救援服务IP化[N];网络世界;2005年
8 ■ 清华大学计算机科学与技术系 董渊 林昊翔 ■ 清华大学信息技术研究院 汪东升 李鹏;运“芯”帷幄[N];计算机世界;2005年
9 吴杰洲 张莹;株冶启动实验室信息管理系统开发项目[N];中国有色金属报;2008年
10 肖文鹏;走进嵌入式Linux的世界[N];中国计算机报;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978