收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

异构集群系统中基于进程迁移机制的负载平衡算法的研究

蒋江  
【摘要】: 集群系统的关键问题在于如何有效利用系统范围内的资源。负载平衡算法是实现资源高效利用的重要手段,进程迁移机制是负载平衡算法的一种有效实施机制。 本文针对资源异构集群系统中的资源共享和有效利用问题,构建了一个异构集群系统资源共享与负载平衡框架HRSLBF。HRSLBF框架由基于多种资源的负载平衡算法LBMR和抢占式进程迁移机制组成。HRSLBF框架的一个重要特点是能够协调考虑集群系统中多种资源的平衡使用。在HRSLBF框架中,所有调度都是从全局资源共享、协调使用的角度进行的。因此,HRSLBF框架能够从根本上实现系统资源的平衡使用,提高系统的性能。 在HRSLBF框架中,我们提出了一种基于多种资源的负载平衡算法LBMR。LBMR算法的主要思想有三点:第一,基于合理选择和定义的资源负载向量,综合考虑进程迁移对源节点和目标节点资源利用率的影响,通过向量运算协调多种资源的平衡使用;第二,基于最小k子集随机算法,采用信息Cache提供的负载信息作为负载平衡算法位置策略的选择依据;第三,基于进程生命时间的概率分布,根据迁移进程减速(slowdown)数学期望值的改善程度,选择适合于迁移的进程。LBMR算法是一种对称启动算法,它包含两种发送者启动算法:位置优先发送者启动算法LFSILB和选择优先发送者启动算法SFSILB,以及一种接收者启动算法RILB。 进程迁移机制是负载平衡算法的实际执行机制。集群计算都需要某种层次上的通信和同步,因此,进程迁移机制应当提供对网络连接迁移的支持,达到保持进程迁移前的网络连接的目的,实现迁移进程网络连接的透明性。网络连接的透明性要求常常导致进程的源节点剩余相关性,IPC通信源节点剩余相关性对迁移进程的性能有着巨大的负面影响。为此,我们研究并实现了一种基于Socket套接字迁移的TCP连接迁移技术,部分解决了进程迁移机制中TCP网络连接透明性和源节点通信剩余相关性的问题。 为了描述集群系统中负载信息的非精确性和部分性这两个特点,我们提出了信息的弱一致性(Weak Consistency)模型。信息的弱一致性模型是负载平衡算法进行有效调度决策时必须重点考虑的一个问题。为了有效利用系统中的弱一致性信息,使之成为负 国防科学技术大学研究生院学位论文 载平衡调度的决策依据,我们提出了一种基于信息弱一致性模型的最小k子集随机算法, 并进行了性能模拟分析。模拟结果表明,最小k子集随机算法能够有效地提高负载平衡 算法决策的正确性。 基于最小 k子集随机算法,我们设计并实现了一种具有双 Cache结构的信息 Cache 机制。信息Cache通过特殊的替换算法,保证两个Cache中的信息分别为系统中负载最 大的k个超载节点的信息和负载最小的k个欠载节点的信息。这样,进行负载平衡调度 时,无论节点处于哪种状态都能够迅速地使用其中一个与自身状态相反的Cache中的信 息,作为负载平衡决定的依据。这种双Cache的信息管理机制非常适合于对称启动算法。 调度算法是一个应用相关的问题,工作负载的特性,尤其是进程生命时间的分布特 性,对干调度算法的设计有着重要的影响。大量的研究表明,进程生命时间服从 Heavily-Tailed分布。在这种分布形式下,抢占式进程迁移机制是一种非常有效的负载平 衡实现机制。基于这些研究,我们得出了异构集群系统中适合于进行迁移的进程的最小 年龄,并应用于LBMR算法的选择策略中。 本文采用踪迹驱动的方法进行了大量的模拟和分析。模拟结果表明:在资源异构集 群系统中,基于多种资源的负载平衡算法LBMR能够有效地平衡系统负载,提高资源 利用率。而且,系统的异构性越强,LBMR算法就越能够体现出比其它算法更好的性能 效果。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 韩海军;潘成胜;;一种改进的进程迁移算法研究[J];沈阳理工大学学报;2007年04期
2 肖会会,吴一新,傅育熙;Linux下集群系统openMosix分析[J];计算机仿真;2005年04期
3 胡金柱,徐松;分布式系统中一种负载平衡的动态反馈调整自适应算法[J];小型微型计算机系统;2003年08期
4 艾国栋,李毅;进程迁移中X连接一致性的研究[J];计算机工程与应用;2005年23期
5 黄嵘,苗放;集群系统进程迁移机制研究[J];物探化探计算技术;2002年03期
6 毛文涛;金文标;牟俊;邓通;;Apache服务器集群中套接字迁移的研究与实现[J];计算机工程与应用;2006年17期
7 王占杰;金全凯;;并行计算环境负载信息的动态监测及处理[J];大连理工大学学报;2005年S1期
8 丁汨;王宏勇;段新华;;基于Linux的进程迁移机制设计[J];福建电脑;2008年09期
9 毛文涛;金文标;牟俊;邓通;;Apache服务器进程迁移中文件状态恢复的研究[J];计算机工程与设计;2006年15期
10 蒋江 ,张民选;异构集群系统中基于进程迁移机制的负载平衡算法的研究[J];计算机工程与科学;2003年06期
11 王巍;浦云明;李波;;集群系统进程迁移的实现与性能测试[J];福建电脑;2007年12期
12 刘畅;进程迁移中套接字迁移的研究与实现[J];重庆师范大学学报(自然科学版);2004年02期
13 胡凯;网络分布式并行计算的负载平衡[J];北京航空航天大学学报;2004年11期
14 董波,詹广平,罗玉臣;集群系统的负载平衡算法研究[J];舰船电子工程;2005年04期
15 黄翊,蒋江,张民选;MOSIX进程迁移机制研究[J];计算机工程;2002年08期
16 刘克剑,陈红红;面向任务类型的资源负载平衡算法-TOSA[J];西华大学学报(自然科学版);2005年03期
17 周佳祥,郑纬民,杨广文;一种基于进程迁移的自适应双阈值动态负载平衡系统[J];清华大学学报(自然科学版);2000年03期
18 刘云生,张传富,张童,查亚兵;基于网格的分布式仿真系统负载平衡研究[J];计算机仿真;2004年06期
19 王巍;李恪;;一种基于SQL语句分发请求的复制算法[J];电子技术应用;2006年05期
20 沈张果;万健;;异构集群环境下负载平衡调度算法研究与实现[J];计算机与数字工程;2007年04期
中国重要会议论文全文数据库 前10条
1 戴涛;杨耀忠;;油藏模拟集群并行负载平衡技术研究[A];第九届全国渗流力学学术讨论会论文集(二)[C];2007年
2 杨晓春;智明;秦国锋;李启炎;;WebGIS服务的动态调度策略[A];计算机技术与应用进展——全国第17届计算机科学与技术应用(CACIS)学术会议论文集(下册)[C];2006年
3 隋翠翠;晏海华;;一种基于高性能集群计算系统的检查点策略[A];2008年全国开放式分布与并行计算机学术会议论文集(下册)[C];2008年
4 王坚;;基于UNIX的集群系统的比较[A];面向21世纪的科技进步与社会经济发展(上册)[C];1999年
5 王长生;;重庆集群移动通信的发展对策与展望[A];四川省通信学会一九九三年学术年会论文集[C];1993年
6 白玎玲;王文春;朱煜;;浅谈高性能集群系统的管理与应用[A];2011年中国气象学会气象通信与信息技术委员会暨国家气象信息中心科技年会论文摘要[C];2011年
7 肖建桥;;实时分布式系统进程迁移的研究[A];武汉市第二届学术年会、通信学会2006年学术年会论文集[C];2006年
8 刘礼农;刘洪;李幼铭;;波动方程三维叠前深度偏移并行计算的负载平衡方案[A];中国科学院地质与地球物理研究所二○○三学术论文汇编·第四卷(油气资源)[C];2003年
9 张千;刘昶;;网格环境下一种基于T-RAG图的关联任务迁移算法[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年
10 付鹏斌;张雪峰;杜金莲;;基于动态反馈的集群渲染系统的实现[A];全国第20届计算机技术与应用学术会议(CACIS·2009)暨全国第1届安全关键技术与应用学术会议论文集(下册)[C];2009年
中国博士学位论文全文数据库 前10条
1 蒋江;异构集群系统中基于进程迁移机制的负载平衡算法的研究[D];国防科学技术大学;2002年
2 卓居超;时移电视集群系统缓存调度研究[D];中国科学技术大学;2010年
3 陈锡明;基于NOW的任务调度和负载平衡方法研究[D];电子科技大学;2000年
4 杨帆;基于负载平衡的新一代核心网络技术研究[D];北京邮电大学;2010年
5 雷州;机群作业管理系统研究[D];中国科学院研究生院(计算技术研究所);1999年
6 张小芳;大规模分布式环境下集群管理系统的研究与实现[D];西北工业大学;2007年
7 唐渊;大规模集群系统的性能评价与通信优化研究[D];中国科学院研究生院(软件研究所);2004年
8 章文嵩;可伸缩网络服务的研究与实现[D];中国人民解放军国防科学技术大学;2000年
9 韩定一;对等网络的社区模型及其在搜索中的应用[D];上海交通大学;2007年
10 王继刚;高可用集群系统中回卷恢复容错技术研究[D];哈尔滨工程大学;2006年
中国硕士学位论文全文数据库 前10条
1 迟忠惠;基于进程迁移的负载均衡算法的研究[D];中国海洋大学;2005年
2 武星燕;Linux集群的进程迁移技术研究[D];哈尔滨工程大学;2008年
3 何入海;基于Linux的集群系统的研究与实现[D];重庆大学;2002年
4 薛瑞尼;面向集群系统的MPI并行程序容错技术研究[D];清华大学;2005年
5 史科军;支持集群系统的linux内核技术研究[D];南京理工大学;2005年
6 蒋淳;基于Agent的集群系统负载平衡技术研究与应用[D];南京航空航天大学;2005年
7 黄涛;基于Linux的分布式系统中的进程迁移技术的设计与实现[D];电子科技大学;2002年
8 阚闯;一种新的基于Linux虚拟服务器集群的动态负载均衡算法[D];中国海洋大学;2008年
9 向文;集群管理系统的研究与设计[D];辽宁师范大学;2008年
10 戴刚;服务器集群关键技术的研究与实现[D];国防科学技术大学;2002年
中国重要报纸全文数据库 前10条
1 林文君;集群系统功能组合[N];人民邮电;2001年
2 邵宗有;融合还是取代?[N];网络世界;2006年
3 张群英;等待集群的中国时代[N];网络世界;2005年
4 本报记者 姜波;小规模集群崛起[N];网络世界;2006年
5 本报记者 江波;中坚力量[N];网络世界;2004年
6 本报记者 张广彬 袁超;高性能计算和存储走向何方[N];计算机世界;2003年
7 祁金华;HPC的曙光 在体验中成长[N];网络世界;2006年
8 苏铁;方正HPCC集群系统为高等教育全面助力[N];国际商报;2005年
9 刘守文;中兴GoTa集群系统的技术和业务创新[N];人民邮电;2005年
10 青岛市委市政府计算机中心 张艳;集群系统集中建设[N];计算机世界;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978