收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

云计算任务调度研究

史恒亮  
【摘要】:云计算开辟了Internet发展的新时代,将带动软件、硬件、通信和物联网等产业的繁荣,是人类社会实现“智慧地球”的一个里程碑。云计算是并行计算、分布式计算、网格计算的融合和发展,是集软件技术、硬件技术、虚拟技术、网络技术于一体的一场革命。 云计算要实现的目标是让Internet上的资源(计算资源、网络资源、存储资源等)象水和电一样在网络上按需分配,并能够根据请求任务复杂性和数据集合大小合理的动态调整。目前,云计算任务调度的相关研究主要集中在Hadoop模型和MapReduce编程模型,Hadoop的提出对于解决数据密集型的简单查询具有很强的优势,其本质是在不同的数据集合上进行相同的操作,更大程度上倾向于数据的分布性(并行性),对于由众多子任务构成的复杂任务请求,其并行性受到很大的限制。同时其内置的FIFO(First In First Out)算法、FS(Fair_Scheduling)算法、CS(Capacity_Scheduling)算法存在QoS(Quality of Service)差、频繁调度、资源碎片多、不够灵活等弊端,因此本文从调度模型和调度算法两个方面进行了研究,主要创新点有: (1)针对复杂任务,提出了改进的MapReduce模型,该模型保留了原Hadoop模型数据并行性优点的同时,能够在架构上实现真正的任务分解和并行计算,大大扩展了MapReduce模型的并行性。改进的MapReduce模型在Map过程开始之前增加了任务分解过程,将复杂任务的DAG(Directed Acyclic Graph)图转化为MCST(Minimum Cost Spanning Tree)最小生成树,为任务执行提供了可以信赖的最小执行时间依据。该模型大大扩展了Hadoop架构的应用领域,将主要应用于商业和重交互式领域的Hadoop架构拓展到了科学计算领域,为那些只熟悉MPI(Message Passing Interface)的科研工作者提供了可以利用廉价商用PC从事科研的系统架构。 (2)针对用户多类型、多粒度的任务请求,提出了基于ACO的云计算任务调度算法,该算法把ACO算法的动态性、并行性融合到了Hadoop架构中,充分发挥了并行性和分布性,避免了Hadoop中经典算法在处理大粒度任务时造成众多小粒度任务等待时间过长的问题,增强了交互性。通过智能的全局信息素更新和局部信息素更新方法,以及设定信息素的最大值和最小值手段,降低了算法陷入局部最优的可能性。ACO算法的启发式调度非常适合在资源提供和任务请求动态发生改变的环境下,利用信息素的动态改变来找到全局最优解。 (3)针对普通商用PC作为具有多种属性的独立资源个体的虚拟化程度不高的云计算,提出了基于概率模型的多目标查询处理Skyline方法,Slave节点通过对比Master下传的概率阈值和近似度来查询出高于概率阈值的节点,并把性能参数上传给Master节点,过滤出大多数不适合多目标任务分配的处理机节点,大大提高了节点性能参数数据的比重,降低了网络数据传输量,减小了Master节点处理数据的负担;其采用的主动申请方式,规避了Hadoop模型中Heartbeat大小对任务执行的负面影响。该方法融合了Skyline查询和Hadoop模型内置FIFO算法的特点,查询效率和分配效率得到了充分的发挥。 (4)针对任务粒度差异过大,固定资源分配容易造成资源浪费或负载过重的问题,提出了一种根据任务粒度大小和资源多寡进行任务调度的弹性模型,模型中的自由节点可以加入重度负载的节点聚簇,或撤离轻度负载的节点聚簇;节点聚簇类似于在Master节点和Slave节点之间又构建了一层计算单元,单元中的资源成员是非固定的、无形的,随着任务的创建而组合,随着任务的完成而消失。当节点聚簇中的节点负载率过高时,会有自由节点加入;当节点聚簇中的节点负载率过低时,会有自由节点撤离节点聚簇。该模型突破了以往弹性计算“时间换质量”的束缚,开创了“空间换质量”的弹性计算模式,大大地提升了系统的灵活性和扩展性。 最后,对该博士论文中提出的调度模型和调度算法的创新性方面进行了总结,并对今后云计算的发展和任务调度的研究方向进行了展望,指出可重构性、可扩展性、可用性、数据存储布局优化问题、任务聚簇和任务复制将是下一步研究的重点和难点。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 孔晓红;叶宾;须文波;;多目标蚁群优化网格调度算法[J];计算机工程与应用;2007年30期
2 傅明;刘凯雄;肖静;;一种用于网格的启发性智能调度策略[J];计算机技术与发展;2006年11期
3 黄学雨;何焕;戴志晃;;基于Min-Min和蚁群算法的网格任务调度方法[J];计算机时代;2009年07期
4 张金标;陈科;;并行设计任务调度的自适应蚁群算法[J];计算机辅助设计与图形学学报;2010年06期
5 梁鸿;田世峰;;基于改进蚂蚁算法的网格任务调度策略研究[J];电子技术应用;2006年11期
6 魏东;吴良杰;佐丹;刘刚;;基于混合蚁群算法的网格任务调度[J];计算机工程;2010年03期
7 胡毅;龚斌;刘运臣;;基于蚁群算法的多QoS约束海量数据网格任务调度[J];华中科技大学学报(自然科学版);2007年S2期
8 杨亚红;吴龟灵;陈建平;李新碗;戴维;;基于蚁群优化算法的网格OBS任务调度研究[J];电子技术;2009年03期
9 梁正友;支成秀;;融合PSO与ACS的网格资源分配研究[J];计算机工程与应用;2009年09期
10 陈祥国;武小悦;;蚁群算法在卫星数传调度问题中的应用[J];系统工程学报;2009年04期
11 马廷淮;闫荞荞;王彬;薛胜军;;基于元任务的网格调度算法综述[J];武汉理工大学学报;2010年16期
12 钟一文;杨建刚;;求解多任务调度问题的免疫蚁群算法[J];模式识别与人工智能;2006年01期
13 付新华;肖明清;夏锐;;基于蚁群算法的并行测试任务调度[J];系统仿真学报;2008年16期
14 亓旭光;梁正友;;基于蚁群算法的网格资源分配与调度研究[J];广西民族学院学报(自然科学版);2006年02期
15 陈欢欢;刘宴兵;;基于自适应调度的网格容错机制研究[J];微电子学与计算机;2010年02期
16 祁超;张璟;李军怀;;基于蚁群系统的网格资源分配与任务调度(英文)[J];Journal of Southeast University(English Edition);2007年03期
17 崔利;王高平;;基于TSP的蚁群算法及其在路由中的应用[J];中国西部科技;2008年21期
18 夏荣敏,白永兵;大学生与信息素质教育[J];农业图书情报学刊;2000年05期
19 杨志云,李震;高校图书资料工作与信息素质教育浅论[J];石油教育;2000年03期
20 陈铭,郑建明;关于大学生信息素质教育的几点思考[J];情报科学;2002年08期
中国重要会议论文全文数据库 前10条
1 李扬;;改进的蚁群算法及其在Eil50问题上的检验[A];中国运筹学会模糊信息与模糊工程分会第五届学术年会论文集[C];2010年
2 王雪萍;杨青;黄祖锋;;P2P网络中基于蚁群算法的智能搜索研究[A];2006全国复杂网络学术会议论文集[C];2006年
3 申春;彭秀增;罗凡;李肃义;;基于方向启发因子的蚁群算法[A];2006年全国理论计算机科学学术年会论文集[C];2006年
4 徐金荣;李允;;一种基于蚁群系统的遗传算法[A];2008'中国信息技术与应用学术论坛论文集(一)[C];2008年
5 黄文明;兰静;张阳;;基于改进蚁群算法的网格资源调度[A];中国通信学会通信软件技术委员会2009年学术会议论文集[C];2009年
6 宁静;王桂棠;吴黎明;刘军;;基于自适应挥发因子蚁群算法的Zigbee路由协议[A];2007'仪表,自动化及先进集成技术大会论文集(一)[C];2007年
7 陈国良;;食用菌多糖对机体作用机制的猜想[A];2008全国药用真菌学术研讨会论文集[C];2008年
8 张永宏;李凯兵;孔令清;袁淑珍;;信息素在二连口岸进口木材检疫中的首次应用[A];植物保护与现代农业——中国植物保护学会2007年学术年会论文集[C];2007年
9 陆地;白燕琼;;信息时代高校图书馆对大学生的信息素质教育[A];图书馆改革与发展——陕西省社会科学信息学会第六次学术讨论会论文集[C];2003年
10 段海滨;王道波;于秀芬;;基于混合优化策略的连续域蚁群算法改进研究[A];2006中国控制与决策学术年会论文集[C];2006年
中国博士学位论文全文数据库 前10条
1 史恒亮;云计算任务调度研究[D];南京理工大学;2012年
2 刘彦;异构多核片上系统的任务调度及应用研究[D];湖南大学;2009年
3 汤绍勋;天基预警低轨星座星载传感器资源管理与预警探测任务调度问题研究[D];国防科学技术大学;2011年
4 黄万伟;基于服务属性区分的可重构任务调度研究[D];解放军信息工程大学;2009年
5 熊曾刚;集成P2P模式的网格资源发现模型、算法与任务调度研究[D];北京科技大学;2009年
6 陈祥国;卫星数传调度的蚁群优化模型及算法研究[D];国防科学技术大学;2010年
7 杨博;网格任务调度与优化机制研究[D];中南大学;2008年
8 蒲汛;群集智能及其在分布式系统中的应用研究[D];电子科技大学;2012年
9 郭夙昌;网格服务可靠性建模及任务调度优化研究[D];电子科技大学;2010年
10 王雷;类生物化制造系统协调机制及关键技术研究[D];南京航空航天大学;2010年
中国硕士学位论文全文数据库 前10条
1 王崇阳;网格环境下基于蚁群算法对资源分配与调度的方法研究[D];长春理工大学;2007年
2 支成秀;基于离散粒子群优化算法的网格任务调度方法[D];广西大学;2007年
3 张勇;分布式系统中处理机的任务调度算法研究[D];江南大学;2008年
4 符晓青;改进的蚁群算法在网格任务调度中的研究[D];大连交通大学;2010年
5 刘沙;可重构系统任务调度与系统级FPGA抗辐照设计[D];复旦大学;2010年
6 李星;网格技术研究和基于蚂蚁算法的任务调度仿真器设计[D];河北工业大学;2004年
7 钟旭;基于混合遗传算法的异构网格任务调度[D];山东大学;2010年
8 张祖礼;网格计算中带有资源属性选择的任务调度的设计与实现[D];哈尔滨工业大学;2010年
9 贾志强;嵌入式操作系统μCOS的移植与测试[D];太原理工大学;2004年
10 车晓雪;基于遗传算法的网格任务调度研究[D];青岛大学;2007年
中国重要报纸全文数据库 前10条
1 曲芳 戴江勇 龚界文 院宣 肖文正 杨丽;坚决落实型号任务调度令[N];中国航天报;2008年
2 何川 方兴;运筹帷幄决胜千里[N];计算机世界;2001年
3 记者 陈勇;人体免疫力能敌艾滋病吗[N];新华每日电讯;2000年
4 记者 杨骏;原来奶头信息素“导航”[N];新华每日电讯;2003年
5 ;五大管理市场细分报告解读[N];网络世界;2007年
6 王波;Linux与服务器集群技术[N];中国计算机报;2002年
7 胭苒;不做“臭”男人[N];卫生与生活报;2006年
8 中国铁通集团有限公司 张胡笳 北京瑞斯康达科技发展有限公司 秦萌;接入层安全管理从“小”做起[N];通信产业报;2006年
9 ;基于SOC/IP的智能传感器设计研究(下)[N];电子报;2007年
10 阮礼录;蜂农如何避免被蜂螫?[N];湖南科技报;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978