基于粒子群优化算法的集群调度策略研究

【摘要】：随着集群规模的逐渐扩大和性能的日益提高,集群调度技术作为集群的关键技术也成为研究的难点和热点。粒子群优化算法(Particle Swarm Optimization, PSO)具有并行性、有效的全局/局部搜索平衡能力、计算简单、鲁棒性好等优点,将粒子群优化算法的引入集群调度中,具有很高的学术价值和实际意义。 本文搭建了一个基于Linux + MPI的松耦合PC集群,在集群网络存储节点间建立RAID5数据冗余关系,来提高数据传输速率和系统吞吐量,实现了逻辑盘卷管理(LVM),提高集群系统磁盘分区管理的灵活性,降低节点/磁盘的平均失效时间的同时提高了系统的重构速率,增强了整个集群系统的安全性和可靠性。 设计并实现了基于PSO算法的调度策略,包括编码方式的设计、选择速度-位置模型、确定集群调度问题的适应度函数和约束条件、确定算法的终止准则、设计粒子解码方式并生成调度方案。并根据调度策略中负载均衡的要求以及粒子群算法中惯性权重的研究,提出均衡因子Ti为每个节点的负载完成率的倒数,通过把各资源的负载完成率的差值控制在一个较小的阈值之内,以动态调整惯性权重来保证负载均衡。 通过实验得出了最佳的ω、v_(max)、ε、m取值,由于PSO算法比较出色的性能,使得集群调度策略在生成速度和精度上都有明显的提高,添加均衡因子的调度策略由于充分考虑到集群系统在执行过程中的动态负载情况,使得集群的总体执行时间(最优值)更小。 对最终调度结果、集群各节点的平均响应时间和CPU平均利用率进行测试和评价,通过与FCFS、Backfill的对比,基于PSO算法调度结果的效果是非常明显的,大大缩短了集群系统的处理周期,为实际的生产过程节约了大量的时间和成本。加入均衡因子后,更加平衡了系统高利用率和短作业等待时间之间的矛盾。