收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

Linux集群环境下作业调度算法的研究与实现

梁成升  
【摘要】:集群计算环境中的作业调度接收用户提交的作业请求,并采用适当的调度策略选择计算节点资源来运行用户作业。作业调度策略决定了整个集群系统的效率,尤其是提交计算量大的作业时,良好的作业调度可以大大加快执行速度,因此,作业调度策略是提高集群系统执行并行作业的效率及系统资源利用率的关键因素,对提高集群系统的并行处理能力具有重大的意义。 本文深入分析了集群作业管理系统OpenPBS提供的作业调度策略和当前常用的集群作业调度策略,并对预约回填策略和负载平衡进行了研究,提出并实现了结合节点负载及预约回填的调度策略。本文主要工作包括: ⑴研究了目前应用广泛的集群作业管理系统OpenPBS的作业调度过程,并分析了其提供的作业调度策略。对目前的一些通用的作业调度策略进行了分析和比较,探讨了预约和回填策略的特点和优势。 ⑵负载平衡直接影响到集群系统的资源利用率和系统的并行计算性能,本文提出并实现了一种结合节点负载及预约回填的调度策略,充分考虑了节点负载,减少了资源碎片的产生,提高了系统的吞吐率和利用率。 ⑶在OpenPBS的调度模块中添加结合节点负载及预约回填的调度策略,作业调度模块将充分利用OpenPBS的作业管理框架完成对作业的调度,并提供资源预留和调度的功能。 ⑷搭建了一个小型集群系统作为测试平台,对本文提出的调度策略与FirstFit调度策略、FCFS调度策略进行比较,并将添加了结合节点负载及预约回填调度策略的OpenPBS与原有的OpenPBS相比较,结果表明了所提出的结合节点负载及预约回填的调度策略在负载平衡、系统资源利用率和吞吐率方面具有明显的优越性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 刘新闯;邱洪泽;魏二有;苏兆锋;;利用优势元素改进进化算法求解柔性作业调度[J];计算机工程与应用;2010年17期
2 舒展 ,佟毅纯;建设银行国际卡系统作业调度和文件传输解决方案[J];中国金融电脑;2004年04期
3 梁毅,孟丹,樊建平;RB-FIFT——一种结合Firstfit及预约回填策略的机群作业调度算法[J];计算机研究与发展;2004年11期
4 邓勇;王汝传;张琳;陈娟;;基于移动代理的网格作业调度模型的研究[J];南京邮电大学学报(自然科学版);2008年05期
5 宗思生;于永玲;施进发;;ERP应用中作业调度可视化服务研究[J];制造业自动化;2011年02期
6 刘瑶;秦志光;罗光春;;校园网格作业调度系统的研究与实现[J];电子科技大学学报;2007年S3期
7 刘剑;桂欢欢;;面向单件小批生产的集成化车间作业调度系统研究[J];机械设计与制造;2008年09期
8 张长胜;孙吉贵;欧阳丹彤;;一种自适应离散粒子群算法及其应用研究[J];电子学报;2009年02期
9 宗思生;于永玲;施进发;胡中艳;;作业调度可视化服务优化方法研究[J];制造业自动化;2011年06期
10 张浩,陈炳森,王素敏,戴咏新,乌国卿,王炯槐;WINDOWS环境下柔性制造系统的Petri网建模及仿真[J];组合机床与自动化加工技术;1994年10期
11 徐趁肖,谭南林,苏树强;Petri网理论在现代制造技术中的应用[J];机械设计与制造工程;1999年02期
12 王忠义;多任务通信网络的作业调度[J];西安石油学院学报(自然科学版);2001年05期
13 陈根土,尚力;浅谈UNIX操作系统中作业调度的安全管理[J];华南金融电脑;2004年04期
14 潘全科,朱剑英;一类解决Job shop问题的改进进化规划[J];山东农业大学学报(自然科学版);2005年02期
15 张伟哲;胡铭曾;李斌;高雷;;计算网格环境下多址作业调度系统模型研究[J];华中科技大学学报(自然科学版);2005年S1期
16 熊炜;刘蓉;;基于遗传算法的PCB钻孔工艺改进[J];印制电路信息;2006年05期
17 郭改文;赵冰;;校园网格及其作业服务的研究[J];河南教育学院学报(自然科学版);2006年02期
18 鞠全勇;朱剑英;;双资源多工艺路线作业车间模糊调度问题研究[J];机械科学与技术;2006年12期
19 刘镠;苗克坚;刘震;;基于分布式系统的GUI自动化测试框架[J];计算机仿真;2007年10期
20 严泽强;刘飞;曹乐;鄢萍;;一种基于加工匹配度的车间作业调度方法研究[J];世界科技研究与发展;2008年03期
中国重要会议论文全文数据库 前10条
1 林雄;黄槐仁;张福金;;用遗传算法求解作业调度问题[A];2007系统仿真技术及其应用学术会议论文集[C];2007年
2 吴明行;韩银和;李晓维;;应用于作业调度算法的可测试性设计[A];第十届全国容错计算学术会议论文集[C];2003年
3 谢君;王航宇;;基于遗传算法的仓库作业调度研究[A];2005中国控制与决策学术年会论文集(下)[C];2005年
4 刘礼;杨裔;火久元;刘海迪;李振芳;李廉;;数学网络集成环境作业调度系统模型[A];2006年全国理论计算机科学学术年会论文集[C];2006年
5 陈娟;王汝传;;基于移动代理的网格作业管理模型的研究[A];2005通信理论与技术新进展——第十届全国青年通信学术会议论文集[C];2005年
6 赵晨阳;杨裔;刘礼;李廉;;基于蚂蚁算法的网格作业调度研究[A];2007年全国开放式分布与并行计算机学术会议论文集(上册)[C];2007年
7 康琦;杨东升;汪镭;吴启迪;;半导体封装作业调度的群体智能近似动态优化[A];2009年中国智能自动化会议论文集(第七分册)[南京理工大学学报(增刊)][C];2009年
8 叶建伟;方滨兴;张宏莉;;基于节点相似度的容错网格作业调度算法研究[A];全国网络与信息安全技术研讨会论文集(下册)[C];2007年
9 冯建周;王晓寰;孔令富;;基于Condor-G实现网格作业提交和跨域调度[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
10 姚丹;郭放;石金华;;基于混合算法的网络化制造车间调度研究[A];全国先进制造技术高层论坛暨第七届制造业自动化与信息化技术研讨会论文集[C];2008年
中国博士学位论文全文数据库 前10条
1 潘全科;智能制造系统多目标车间调度研究[D];南京航空航天大学;2003年
2 程念胜;制造网格环境下企业集成技术研究[D];华中科技大学;2009年
3 鞠全勇;智能制造系统生产计划与车间调度的研究[D];南京航空航天大学;2007年
4 徐立芳;免疫克隆选择算法应用研究[D];哈尔滨工程大学;2008年
5 陶永才;网格环境下作业可靠调度机制的研究[D];华中科技大学;2009年
6 曹海军;面向服务的网格工作流关键问题研究[D];华中科技大学;2009年
7 刘小龙;细菌觅食优化算法的改进及应用[D];华南理工大学;2011年
8 张浩;基于结构化对等网络的高性能计算平台关键技术研究[D];华中科技大学;2009年
9 申凯;网格多集群环境和计算市场环境中的作业调度和资源分配研究[D];中国科学技术大学;2008年
10 杨朋;多载具自动化存取系统货位分配与作业调度研究[D];清华大学;2011年
中国硕士学位论文全文数据库 前10条
1 孟宪松;基于FMC作业调度仿真研究[D];哈尔滨工程大学;2002年
2 吴立国;基于JMX的远程作业管理系统设计与实现[D];中国科学院研究生院(软件研究所);2005年
3 王勇;生产系统管理模式及其作业调度问题的研究[D];辽宁工程技术大学;2003年
4 张延钊;作业管理系统的研究与实现——作业调度和通讯代理模块的研究与实现[D];西北工业大学;2003年
5 宋家亮;作业管理系统的研究与实现[D];西北工业大学;2005年
6 王万雷;基于遗传算法的车间作业调度问题研究[D];昆明理工大学;2002年
7 赵怡然;印刷企业的生产排程系统的研究与实现[D];华中科技大学;2007年
8 安喜锋;高性能计算集群管理系统与作业调度技术研究与实现[D];西北工业大学;2005年
9 周红军;JMS的研究[D];西安科技大学;2005年
10 邵科峰;设备共享环境下的作业调度问题研究[D];清华大学;2005年
中国重要报纸全文数据库 前10条
1 胡荣山;港口作业调度实现“全程掌控”[N];中国交通报;2007年
2 谭逢春 通讯员  黄治荣;宜昌水路应急减载市场走向规范化[N];中国水运报;2007年
3 Platform中国公司;Platform Computing:为高性能计算机群加速[N];中国计算机报;2008年
4 恩益禧-中科院软件研究所有限公司;统一管理应对金融行业作业批处理缺陷[N];中国计算机报;2006年
5 艾文;日立JP1从两模块切入[N];中国计算机报;2003年
6 记者 赵天冬通讯员 王丰勇;12万套农机会战山东麦收[N];农民日报;2008年
7 曾宇 刘朝晖;不选贵的 只选对的[N];计算机世界;2006年
8 河北 秦红霞;让数据库自动备份[N];电脑报;2004年
9 祁金华;风云卫星背后的“IT风云”[N];网络世界;2008年
10 ;万和物流信息管理系统+Metrologic Sp5700[N];中国计算机报;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978