收藏本站
《北京工业大学》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

有期限约束多工作流调度的多目标优化研究

徐秀杰  
【摘要】:随着许多领域大规模科学计算问题的日益增多,在分布式资源中合理映射科学工作流实现多目标优化的调度变得愈发重要。尤其目前对计算资源的付费使用,已经成为了一种必然趋势。在以效用为基础的资源上对工作流进行调度时,不仅需要考虑工作流的执行完成时间,同时也需要考虑其执行费用,另外还有例如吞吐量、公平性、可靠性等。不同调度目标间相互联系且相互制约,如何达到多目标综合性能最优化是一个非常重要的NP难问题。针对多工作流共享一组资源的协同调度,既能够更充分利用任务之间的时隙,也有实际的应用需求,是近几年的研究热点之一。关于多工作流协同调度问题,尽管在提高资源利用率、平均完成率、公平性方面已经取得一定的成果,但如何在多个优化目标间进行权衡,仍然存在着很多需要进一步改进和解决的问题。在深入分析现有工作流调度研究现状与不足的基础上,围绕共享一组异构资源的有期限约束工作流调度中的任务子期限获取、吞吐量最大化、多工作流调度映射浪费时隙最小化及费用优化等一系列问题展开研究,合理处理多个工作流之间的调度关系。在提高网格、集群或云等分布式资源中的多用户工作流应用的资源利用率、在满足需求的基础上降低用户花费和资源提供者的成本方面,有着重要的理论和现实意义。主要的研究成果和创新点分为如下几个部分:(1)针对单个DAG在一组资源上的调度,提出了反向调度的RHEFT方法。通过获取反向任务的最早开始时间和最早结束时间,对应简单的求出每个任务的子期限和最迟开始时间。这个过程不仅考虑剩余关键路径长度,还考虑到DAG并行度的影响,使得每个任务在子期限约束下映射到资源后仍能确保其余任务有足够剩余时间。(2)针对有期限约束多DAG共享有限资源调度问题,提出了具有低复杂度的吞吐量最大化算法。首先,基于RHEFT获取到的任务最迟开始时间定义了各DAG中优先级最高任务相对宽松度的新衡量指标,通过对比选出相对最紧急的任务,在各资源中寻找能最早完成要调度任务的时隙进行映射,并在期限不足时根据子期限快速判定出过饱和现象,合理丢弃DAG另外扩展资源。实验结果表明,在多DAG吞吐量、浪费时隙量、公平性方面比起其它三种策略有着较好性能,并在类似性能下具有更低的时间复杂度。(3)针对有期限约束多DAG共享有限资源调度问题,提出了弹性时隙回填的浪费时隙最小化调度策略。多DAG通过比较时隙比率或期限紧急程度,获取调度顺序。每个任务按最早完成时间优先策略向资源映射时,若更早时隙太小,通过时隙扩展实现回填,充分利用现有算法中不符合要映射任务要求的最早时隙。同时,也考虑了选定资源不足时的DAG丢弃情况,达到DAG成功完成率最大化。实验表明,任务弹性时隙回填算法能达到浪费时隙最小化,并且具有时隙叠加后移特征,尤其适用于动态到达多DAG共同调度的情况。(4)针对有期限约束多DAG共享有限资源调度问题,通过对RHEFT方法的改进,进一步提出了MRHEFT算法,对多DAG公平的获取任务子期限。MRHEFT算法使反向DAG具有不同的起始时刻,最大期限DAG首先反向映射,每当到达下一反向期限时刻,加入其它DAG,并通过比较反向权值公平选择任务映射,获取相对公平的最早开始时间及完成时间,然后对应获取每个任务的子期限和最迟开始时间。并根据最迟开始时间是否为负,识别出多DAG是否能如期共同完成调度。(5)针对有期限约束多DAG共享有限资源调度,提出了基于相对宽松度的费用优化调度策略。首先基于MRHEFT算法获取每个任务的最迟开始时间和子期限,快速判定出是否存在DAG过饱和问题,若有过饱和则选择抛弃。然后依次计算各DAG第一个任务的宽松度来选取任务,根据子期限约束选择最廉价资源,直到全部任务映射完成得到优化的调度费用。实验结果表明该策略能够以很低的时间复杂度获取较好的性能。
【学位授予单位】:北京工业大学
【学位级别】:博士
【学位授予年份】:2017
【分类号】:TP18

【相似文献】
中国期刊全文数据库 前10条
1 李维宏;工作流及其发展动态[J];微计算机应用;2002年04期
2 李红信,范玉顺;分布式工作流执行服务的设计与实现[J];计算机工程与应用;2003年24期
3 刘向前,王晓琳,曾广周;基于协调机制的多工作流过程合并方法[J];计算机工程;2003年02期
4 覃俊,康立山,陈毓屏,吴仁杰;远程工作流的安全机制[J];计算机应用研究;2003年07期
5 吴世贵;浅谈工作流技术[J];建材技术与应用;2003年05期
6 李红玲,朱锦泉;基于工作流技术图书馆自动化管理系统的设计与实现[J];长春理工大学学报;2005年02期
7 ;你工作流了吗?[J];软件世界;2006年23期
8 苏军;薛顺利;李尊朝;;工作流项目的代理安全机制[J];西安工程科技学院学报;2006年06期
9 付伟;;工作流技术综述[J];河北北方学院学报(自然科学版);2007年01期
10 李燕;冯玉强;;工作流挖掘:一种新型工作流自动化建模方法[J];计算机工程;2007年04期
中国重要会议论文全文数据库 前10条
1 常群;王海洋;;基于长短事务分离的工作流事务模型[A];第十九届全国数据库学术会议论文集(研究报告篇)[C];2002年
2 马帅;王海洋;王文;;事务工作流及其错误处理策略[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
3 刘庆;刘英博;王建民;;基于工作流日志的层次化角色挖掘[A];第二十四届中国数据库学术会议论文集(技术报告篇)[C];2007年
4 袁征;肖宇;;基于事例处理的工程项目工作流管理[A];土木建筑学术文库(第12卷)[C];2009年
5 王飞;李郴;薛清龙;胡晓鑫;;基于工作流技术的银行影像系统的研究和开发[A];煤矿自动化与信息化——第19届全国煤矿自动化与信息化学术会议暨中国矿业大学(北京)百年校庆学术会议论文集[C];2009年
6 刘建勋;陈海燕;;工作流管理系统中基于组织结构约束的授权研究[A];全国第16届计算机科学与技术应用(CACIS)学术会议论文集[C];2004年
7 魏连;许榕生;;基于工作流技术的手机取证系统的设计与实现[A];第13届全国计算机、网络在现代科学技术领域的应用学术会议论文集[C];2007年
8 寿志勤;李乐明;崇大志;;一个面向政务流程的工作流管理系统分析与构建[A];中国行政管理学会2005年年会暨“政府行政能力建设与构建和谐社会”研讨会论文集[C];2005年
9 邹盟军;黄炜;;基于组件的工作流管理平台的设计与实现[A];广东省电机工程学会2003-2004年度优秀论文集[C];2005年
10 张博;杨帆;;基于表单的工作流管理系统设计[A];第十四届中国科协年会第5分会场:绿色船舶与海洋装备创新发展及产业化论坛论文集[C];2012年
中国重要报纸全文数据库 前10条
1 何进伟;还工作流管理一个说法[N];中国计算机报;2003年
2 徐昊;工作流是下一个“金矿”[N];中国计算机报;2003年
3 ;《工作流管理——模型、方法和系统》出版[N];中华读书报;2004年
4 胡长城;工作流:国内国际两极分化[N];计算机世界;2007年
5 工作流资深专家 游青华;如何选择一个适合的工作流平台[N];中国计算机报;2007年
6 刘喜喜;超越工作流管理[N];中国计算机报;2006年
7 ;北京商能 实现电子化工作流体系[N];中国计算机报;2009年
8 刘锬;Lotus Domino/Notes工作流在办公自动化中的应用[N];计算机世界;2005年
9 蒋明炜 戴宝纯 吴英;工作流管理使企业系统实现集成[N];中国乡镇企业报;2004年
10 沈建苗 编译;基于Spring创建工作流引擎[N];计算机世界;2006年
中国博士学位论文全文数据库 前7条
1 徐秀杰;有期限约束多工作流调度的多目标优化研究[D];北京工业大学;2017年
2 沈虹;多约束复杂工作流的调度优化[D];东南大学;2016年
3 姚光顺;面向工作流任务的云计算资源多目标与容错调度研究[D];东华大学;2016年
4 王朝霞;数据感知工作流的建模与验证[D];清华大学;2012年
5 卢伟倬;建设项目工作流精益管理研究[D];哈尔滨工业大学;2008年
6 杨晓辉;基于服务组织的开放Agent社会研究[D];天津大学;2012年
7 姜海鸥;混合云环境下资源调度与管理若干问题研究[D];北京邮电大学;2017年
中国硕士学位论文全文数据库 前10条
1 刘思豪;面向用户的多目标云工作流调度研究[D];大连理工大学;2017年
2 张欣;截止时间及预算约束的云工作流调度策略[D];重庆大学;2017年
3 吕丹;基因测序工作流的任务建模及其调度研究[D];华南理工大学;2016年
4 侯美玲;基于工作流技术的管理信息系统开发研究[D];太原理工大学;2006年
5 颜超;基于工作流技术的税务管理系统的设计与实现[D];上海交通大学;2015年
6 吴伯然;基于工作流的电网公司党务管理系统的设计与实现[D];山东大学;2015年
7 朱星镇;基于J2EE和工作流技术的质量管理系统设计与开发[D];电子科技大学;2013年
8 荣钰;基于工作流的政府行政审批平台的设计与实现[D];电子科技大学;2014年
9 蒙焕;面向财务共享服务中心的财务报账系统设计与实现[D];上海交通大学;2014年
10 彭德安;面向SAP的备件分配和下单软件的设计与实现[D];上海交通大学;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026