收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

科学工作流管理及调度研究

刘灿灿  
【摘要】:目前的e-Science研究越来越依赖于大规模科学应用程序和软件工具对海量数据的分析处理能力及网格环境中高性能资源的计算能力,作为一种帮助科学家进行复杂流程组合和流程自动运行的管理平台,科学工作流管理系统(Scientific Workflow Management System, SWfMS)在科研过程中发挥着越来越重要的推动作用,而科学工作流(Scientific Workflow, SWF)的相关技术也逐渐成为当今学术界的研究热点。目前多个大型e-Science中心分别开发了面向特定领域的SWfMS,但这些系统缺乏统一标准且系统间的互操作也比较困难,在新的领域中进行复杂流程管理时需要对已有系统进行大量修改或重新开发,为了充分利用科研资源并达到多系统间互操作的目标,研究一个标准统一的通用型SWfMS成为目前SWF管理中亟需解决的问题之一。同时,随着越来越多网格资源的加入,目前对计算资源的付费使用也成为一种必然趋势,在这类效用网格中对工作流进行调度时需考虑工作流的执行时间、执行费用及可靠性等多个目标,这些目标间相互联系且相互制约,如何在多个目标间进行权衡并达到多目标综合性能的最优值也是近几年的研究热点之一。在深入分析SWF管理及调度的研究现状与不足的基础上,本文围绕通用型SWfMS的相关内容及工作流在效用网格下的有效调度展开了大量研究,主要贡献如下: (1)分析并总结SWF的相关技术和研究现状 鉴于SWF刚刚起步的状态,对目前国内外已有的相关工作进行全面总结和比较。分别从SWF模型、表示、语言及调度等多方面对其关键技术进行全面总结、比较与评价,并对近两年的最新研究和国内的研究现状进行分析,为全文工作的开展奠定基础。 (2)设计并实现基于BPEL的通用型SWfMS 针对目前多个SWfMS间互操作较困难的缺点,研究通用性较好的BPEL (Busicess Process Execution Language)模型,以集合预报为应用背景,设计并实现基于BPEL的通用型科学工作流管理系统——集合预报科学工作流管理系统(Ensemble Prediction Scientific Workflow system, EPSWFlow)。系统利用BPEL中丰富的控制语义、对Web服务的全面支持等优点实现了对预报流程中各服务的按需组合与调度;并采用JSDL (Job Submission Description Language)对实验环境中无法进行Web服务封装的大量遗留应用程序进行描述,通过基于Web的标准作业调度软件GridSAM对这些作业进行调度与监控,解决了遗留应用程序的集成问题。 (3)研究通用型SWfMS的动态适应性 针对SWF的动态适用性需求,分别从SWF模型,SWfMS的系统实现及执行期的系统容错等方面对SWfMS的动态适应性进行研究。提出SWF四层抽象模型,在不同抽象层上实现对Web服务和底层遗留应用程序的抽象描述,并在执行过程中由SWF引擎动态选择服务,对资源进行实时绑定,以支持SWF的动态适应性;此外,研究SWF执行期的系统容错,在EPSWFlow中实现三种容错策略,有效提高系统在执行过程中的异常处理能力,进一步提高系统的动态适应性。 (4)研究效用网格下截止期约束的工作流费用优化调度问题 工作流在各种环境和不同条件下的任务调度是工作流研究领域的重要内容之一,其调度性能的好坏直接影响系统的运行效率。在对资源进行付费使用的效用网格中,针对截止期约束的工作流费用优化问题提出三种有效的调度算法:基于时序一致的截止期约束逆向分层算法TCDBL (Temporal Consistency based Deadline Bottom Level)、基于路径平衡的工作流费用优化算法PBCO (Path Balance based Cost Optimization)及基于优先级规则BFTCSTM (Best Fit based on Time-dependent Coupling Strength and Temporal Mobility)的迭代算法,三种算法从不同角度对工作流的费用优化问题进行研究,均取得了很好的调度效果。 (5)研究动态资源下基于优先级因子的工作流时间-费用优化调度问题 在资源状态动态变化的网格环境中,工作流执行完成之前很难对工作流的执行时间或执行费用进行准确预测,因此研究基于优先级因子的费用优化策略对工作流的执行时间与执行费用同时进行优化。在分层策略的基础上提出三种实时调度算法:基于逆向分层的Sufferage算法(BLSuff)、基于逆向分层的Min-Min算法(BLMin)及基于逆向分层的Min-Max算法(BLMax)。三种算法均基于逆向深度对任务进行分层,设计基于优先级因子的衡量标准对任务逐层进行调度,达到了同时优化工作流执行时间与执行费用的目标,取得了良好的调度效果。 综上所述,本文针对目前SWF技术中亟需解决的几个关键问题进行了研究,并提出有效的解决方案。本文的研究对于推动复杂科学计算流程的组合和管理,并最终推动科研进程的发展具有较高的理论价值和应用价值。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 郑白桦;袁潜龙;;基于信息传送和事件驱动的分布式工作流系统[J];计算机科学;1999年12期
2 李雄,薛开,毛雨辉;基于B/S的工艺工作流管理的研究[J];应用科技;2004年02期
3 李海波;战德臣;;工作流无效路径的识别方法[J];计算机集成制造系统;2006年05期
4 任瑞贞;常会友;;工作流系统的组织模型管理及动态维护[J];计算机应用与软件;2008年01期
5 宋斌;李国栋;柳长安;;组件化工作流模型的研究与设计[J];中国电力教育;2008年S1期
6 陈桂鸿;;基于SOA和工作流技术的图书馆集成信息平台研究[J];图书馆学研究;2009年06期
7 王凯,白庆华;基于工作流管理的动态联盟企业信息系统模型[J];计算机应用;1999年10期
8 赵丽萍,陈鸿;面向CAPP的工作流程管理研究与应用[J];计算机工程与应用;2001年17期
9 施奕勇,景栋盛,杨洋;一个基于工作流的协同编辑系统的设计与实现[J];计算机时代;2005年09期
10 郑文煜;葛玮;;WEB工作流的访问控制研究与实现[J];计算机技术与发展;2006年02期
11 罗敬;管强;;基于Web服务的电子政务平台研究与实践[J];河南科学;2006年01期
12 赵峰;;管理信息系统开发平台的构建及实现[J];信息技术;2006年08期
13 郭昂;武永卫;田金兰;杨广文;;面向生物信息学计算的网格工作流系统[J];华中科技大学学报(自然科学版);2006年S1期
14 胡金柱;王挥;王小庆;田峰;;基于Petri网的工作流在电子政务系统中的建模与分析[J];计算机应用与软件;2006年09期
15 杨冬梅;胡彧;张亦军;;基于角色的工作流模型研究与应用[J];电脑开发与应用;2006年11期
16 杨庆;王红卫;王丽娟;万虎;;基于HLA分布演练系统的事件管理与调度[J];华中科技大学学报(自然科学版);2007年12期
17 薛丁海;陈海松;凌海风;李庆文;;工程机械维修业务管理系统设计与实现[J];建筑机械化;2008年08期
18 宋燕;闫崇京;;扩散工作流管理系统研究[J];中国制造业信息化;2009年13期
19 赵宗敏;吴海涛;王洋;;工作流元模型到SPEM的扩展与映射[J];计算机应用;2010年03期
20 王威;张莉莉;;基于工作流网的打假工作流模型设计与验证[J];农业网络信息;2011年03期
中国重要会议论文全文数据库 前10条
1 姚韵;朱金福;;基于工作流的不正常航班服务调度研究[A];可持续发展的中国交通——2005全国博士生学术论坛(交通运输工程学科)论文集(上册)[C];2005年
2 沙海燕;崔浩;;办公自动化中工作流管理系统模型[A];OA’99办公自动化全国学术研讨暨展示会论文集[C];1999年
3 李新;薛永生;;可重构工作流系统设计方法研究[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
4 周颖;崔立真;王海洋;;一种解决工作流中并发流程间资源冲突的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
5 李强;刘亚军;;一种基于任务补偿的工作流实例迁移策略[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
6 刘庆;刘英博;王建民;;基于工作流日志的层次化角色挖掘[A];第二十四届中国数据库学术会议论文集(技术报告篇)[C];2007年
7 查攀;;多级混合工作流及软内核引擎在数字交通中的研究应用[A];全国城市公路学会第十九次学术年会论文集[C];2010年
8 常仕军;;基于工作流的生产过程监控系统体系构建[A];第二届民用飞机制造技术及装备高层论坛资料汇编(论文集)[C];2010年
9 韩建民;何小卫;贾泂;;基于工作流的网上协同设计系统的实现[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
10 袁征;肖宇;;基于事例处理的工程项目工作流管理[A];土木建筑学术文库(第12卷)[C];2009年
中国博士学位论文全文数据库 前10条
1 刘灿灿;科学工作流管理及调度研究[D];国防科学技术大学;2011年
2 李建敦;私有云中虚拟资源的节能调度研究[D];上海大学;2011年
3 郭文彩;面向服务的网格工作流关键技术研究[D];北京科技大学;2006年
4 高昂;基于多种视角的工作流挖掘技术研究[D];北京科技大学;2010年
5 伍章俊;云工作流服务组合与活动调度策略研究[D];合肥工业大学;2011年
6 吕国斌;云计算环境下的科学工作流关键技术研究[D];中国地质大学;2012年
7 龙浩;网格语义工作流关键技术研究[D];北京工业大学;2010年
8 聂作先;广义良构工作流业务过程实例时间性能分析[D];中南大学;2010年
9 杨浩澜;动态网格计算工作流关键技术研究[D];重庆大学;2011年
10 江维;任务关键实时系统的可信感知调度研究[D];电子科技大学;2009年
中国硕士学位论文全文数据库 前10条
1 左丽叶;云环境下基于遗传算法的工作流任务调度算法研究[D];上海师范大学;2011年
2 张福新;工作流动态构建技术研究及应用[D];山东科技大学;2010年
3 陈旭;面向警务督察的活动模型及工作流平台的研究与设计[D];天津大学;2010年
4 贾音;基于工作流的协同信访系统的设计与实现[D];电子科技大学;2009年
5 乔英合;东软软件外包项目管理工作流引擎的设计与实现[D];东北大学;2009年
6 任静;基于工作流的办公自动化系统的研究与实现[D];西安电子科技大学;2010年
7 洪智强;大型广告企业工作流管理平台设计与实现[D];电子科技大学;2010年
8 王晨;基于工作流的通信整机调试数字化系统研究[D];西安电子科技大学;2010年
9 吴强;银行业文档与工作流通用平台设计与实现[D];华南理工大学;2010年
10 方胜;基于关系数据库的工作流引擎管理系统的设计与开发[D];北京邮电大学;2010年
中国重要报纸全文数据库 前10条
1 ;《工作流管理——模型、方法和系统》出版[N];中华读书报;2004年
2 蒋明炜 戴宝纯 吴英;工作流管理使企业系统实现集成[N];中国乡镇企业报;2004年
3 何进伟;还工作流管理一个说法[N];中国计算机报;2003年
4 蒋明炜、戴宝纯、吴英;工作流管理与ERP的应用[N];中国计算机报;2003年
5 记者 朱冰;北京大学提出工作流的三层模型[N];中国高新技术产业导报;2007年
6 工作流资深专家 刘航;中国企业迈向流程公司的十个路标[N];中国计算机报;2007年
7 本报记者 康怡;一股两制 电力职工退股三年定论[N];经济观察报;2008年
8 刘喜喜;超越工作流管理[N];中国计算机报;2006年
9 朱静芬;CRM与ERP的整合[N];财会信报;2007年
10 实习记者 都潇潇;黄委召开今年黄河上游河段水调协商会[N];黄河报;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978