收藏本站
《国防科学技术大学》 2002年
收藏 | 手机打开
二维码
手机客户端打开本文

异构集群系统中基于进程迁移机制的负载平衡算法的研究

蒋江  
【摘要】: 集群系统的关键问题在于如何有效利用系统范围内的资源。负载平衡算法是实现资源高效利用的重要手段,进程迁移机制是负载平衡算法的一种有效实施机制。 本文针对资源异构集群系统中的资源共享和有效利用问题,构建了一个异构集群系统资源共享与负载平衡框架HRSLBF。HRSLBF框架由基于多种资源的负载平衡算法LBMR和抢占式进程迁移机制组成。HRSLBF框架的一个重要特点是能够协调考虑集群系统中多种资源的平衡使用。在HRSLBF框架中,所有调度都是从全局资源共享、协调使用的角度进行的。因此,HRSLBF框架能够从根本上实现系统资源的平衡使用,提高系统的性能。 在HRSLBF框架中,我们提出了一种基于多种资源的负载平衡算法LBMR。LBMR算法的主要思想有三点:第一,基于合理选择和定义的资源负载向量,综合考虑进程迁移对源节点和目标节点资源利用率的影响,通过向量运算协调多种资源的平衡使用;第二,基于最小k子集随机算法,采用信息Cache提供的负载信息作为负载平衡算法位置策略的选择依据;第三,基于进程生命时间的概率分布,根据迁移进程减速(slowdown)数学期望值的改善程度,选择适合于迁移的进程。LBMR算法是一种对称启动算法,它包含两种发送者启动算法:位置优先发送者启动算法LFSILB和选择优先发送者启动算法SFSILB,以及一种接收者启动算法RILB。 进程迁移机制是负载平衡算法的实际执行机制。集群计算都需要某种层次上的通信和同步,因此,进程迁移机制应当提供对网络连接迁移的支持,达到保持进程迁移前的网络连接的目的,实现迁移进程网络连接的透明性。网络连接的透明性要求常常导致进程的源节点剩余相关性,IPC通信源节点剩余相关性对迁移进程的性能有着巨大的负面影响。为此,我们研究并实现了一种基于Socket套接字迁移的TCP连接迁移技术,部分解决了进程迁移机制中TCP网络连接透明性和源节点通信剩余相关性的问题。 为了描述集群系统中负载信息的非精确性和部分性这两个特点,我们提出了信息的弱一致性(Weak Consistency)模型。信息的弱一致性模型是负载平衡算法进行有效调度决策时必须重点考虑的一个问题。为了有效利用系统中的弱一致性信息,使之成为负 国防科学技术大学研究生院学位论文 载平衡调度的决策依据,我们提出了一种基于信息弱一致性模型的最小k子集随机算法, 并进行了性能模拟分析。模拟结果表明,最小k子集随机算法能够有效地提高负载平衡 算法决策的正确性。 基于最小 k子集随机算法,我们设计并实现了一种具有双 Cache结构的信息 Cache 机制。信息Cache通过特殊的替换算法,保证两个Cache中的信息分别为系统中负载最 大的k个超载节点的信息和负载最小的k个欠载节点的信息。这样,进行负载平衡调度 时,无论节点处于哪种状态都能够迅速地使用其中一个与自身状态相反的Cache中的信 息,作为负载平衡决定的依据。这种双Cache的信息管理机制非常适合于对称启动算法。 调度算法是一个应用相关的问题,工作负载的特性,尤其是进程生命时间的分布特 性,对干调度算法的设计有着重要的影响。大量的研究表明,进程生命时间服从 Heavily-Tailed分布。在这种分布形式下,抢占式进程迁移机制是一种非常有效的负载平 衡实现机制。基于这些研究,我们得出了异构集群系统中适合于进行迁移的进程的最小 年龄,并应用于LBMR算法的选择策略中。 本文采用踪迹驱动的方法进行了大量的模拟和分析。模拟结果表明:在资源异构集 群系统中,基于多种资源的负载平衡算法LBMR能够有效地平衡系统负载,提高资源 利用率。而且,系统的异构性越强,LBMR算法就越能够体现出比其它算法更好的性能 效果。
【学位授予单位】:国防科学技术大学
【学位级别】:博士
【学位授予年份】:2002
【分类号】:TP301.6

手机知网App
【引证文献】
中国期刊全文数据库 前4条
1 丁汨;王宏勇;段新华;;基于Linux的进程迁移机制设计[J];福建电脑;2008年09期
2 韦慧;吴悦;杨洪斌;;基于时间偏差协议的动态负载平衡技术[J];计算机应用研究;2007年12期
3 刘云生;张传富;张童;查亚兵;黄柯棣;;分布式仿真系统socket迁移[J];系统仿真学报;2006年02期
4 杨永健;李树秋;田志中;;分布式系统负载均衡中基于模糊控制的参数自适应调整算法[J];仪器仪表学报;2008年07期
中国博士学位论文全文数据库 前6条
1 马俊;面向内部威胁的数据泄漏防护关键技术研究[D];国防科学技术大学;2011年
2 王永庆;基于快速网络的新型存储层次设计与实现[D];国防科学技术大学;2003年
3 吴悦;基于硬件描述语言的并行逻辑模拟系统研究与实现[D];上海大学;2006年
4 刘云生;大规模分布式仿真系统容错关键技术研究[D];国防科学技术大学;2006年
5 赵春宇;高性能并行GIS中矢量空间数据存取与处理关键技术研究[D];武汉大学;2006年
6 梁鸿;基于地震资料处理的计算网格技术的研究[D];中国石油大学;2008年
中国硕士学位论文全文数据库 前10条
1 刘涛;遥感图像分块分类技术的研究与应用[D];山东科技大学;2010年
2 单芳芳;基于USB的专用模块控制程序设计[D];西安电子科技大学;2009年
3 赵亮;流媒体服务集群系统关键技术研究[D];西安电子科技大学;2009年
4 李洪峰;集群环境中基于能量优化的并行任务调度机制研究[D];武汉理工大学;2011年
5 钟新玉;图像检索的并行计算方法与系统[D];北京理工大学;2011年
6 焦喜娟;基于MPI的三维地层建模和可视化方法研究[D];山东科技大学;2011年
7 李洪源;集群系统中高可用调度器的研究与实现[D];国防科学技术大学;2003年
8 李浩松;分布式GIS应用服务器负载平衡研究[D];武汉大学;2005年
9 汪梅婷;基于MPI的并行计算中矩阵传输协议及负载平衡算法的研究与设计[D];燕山大学;2006年
10 高岩;银行数据交换平台中信息集成问题的研究与实现[D];清华大学;2005年
【同被引文献】
中国期刊全文数据库 前10条
1 张琪;蓬勃发展的中国电子信息产业[J];半导体技术;2003年05期
2 丁原,刘玉树,朱天焕;集群服务器技术综述[J];兵工自动化;2000年03期
3 李千目;许满武;张宏;刘凤玉;;一种新的用于网络层故障检测算法——RRBFNN[J];兵工学报;2006年03期
4 温建华;朱自强;吴宗成;陈泽民;;基于N-S方程串并行计算的机翼优化设计[J];北京航空航天大学学报;2008年02期
5 丁原,刘玉树,朱天焕;利用IP转发技术在集群服务器中实现负载均衡[J];北京理工大学学报;2001年03期
6 张丽芬,王晓华,胡景松,宋维佳,龙斌;基于网格划分的几种空间索引[J];北京理工大学学报;2004年02期
7 云晓春,余翔湛;基于确认度失效检测算法的研究与设计[J];北京邮电大学学报;2005年03期
8 夏英;多维空间数据索引结构的并发控制方案[J];重庆邮电学院学报(自然科学版);2002年01期
9 李长志;集群服务器系统负载均衡原理的分析与实现[J];重庆邮电学院学报(自然科学版);2004年06期
10 向友君;谢胜利;;图像检索技术综述[J];重庆邮电学院学报(自然科学版);2006年03期
中国重要会议论文全文数据库 前1条
1 苏晓丽;李锦涛;蒋发群;史红周;郭俊波;朱珍民;;基于虚拟桌面的应用服务访问系统研究[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
中国博士学位论文全文数据库 前10条
1 陈锡明;基于NOW的任务调度和负载平衡方法研究[D];电子科技大学;2000年
2 吴升;分布式GIS组件平台的研究与实践[D];解放军信息工程大学;2001年
3 单锦辉;面向路径的测试数据自动生成方法研究[D];国防科学技术大学;2002年
4 董鹏;分布式空间信息的高效查询与分析系统研究[D];中国科学院研究生院(遥感应用研究所);2003年
5 郝建国;高层体系结构(HLA)中的多联邦互连技术研究与实现[D];中国人民解放军国防科学技术大学;2003年
6 章文嵩;可伸缩网络服务的研究与实现[D];中国人民解放军国防科学技术大学;2000年
7 杨峰;分布式并行索引研究[D];电子科技大学;2003年
8 赵东;网格计算环境中若干关键技术的研究[D];电子科技大学;2003年
9 蔡砥;网络计算环境下空间分析的计算模式研究[D];华东师范大学;2004年
10 刘志刚;支撑向量机在光谱遥感影像分类中的若干问题研究[D];武汉大学;2004年
中国硕士学位论文全文数据库 前10条
1 张恒;基于轮廓的步态识别[D];南京信息工程大学;2011年
2 庄蓉茹;集群系统下的通信系统开发[D];昆明理工大学;2001年
3 胡永培;网络负载平衡系统的设计与实现[D];电子科技大学;2001年
4 邹晖;异构机群并行计算环境研究及应用[D];成都理工大学;2002年
5 李登;分布式系统负载均衡策略研究[D];中南大学;2002年
6 黄翊;集群环境下TCP连接迁移的研究与实现[D];国防科学技术大学;2002年
7 牛雪征;分布式计算机系统动态负载平衡的研究[D];南京航空航天大学;2003年
8 丁浩;交通流预测与配流的研究[D];大连理工大学;2003年
9 李小卫;并行程序动态行为可视化监测及并行I/O研究[D];成都理工大学;2003年
10 马琳茹;基于Linux平台加密服务器设计与实现[D];中国人民解放军国防科学技术大学;2002年
【二级引证文献】
中国期刊全文数据库 前10条
1 黎心灵;卢刚;;并行GIS研究综述[J];测绘标准化;2012年02期
2 王结臣;王豹;胡玮;张辉;;并行空间分析算法研究进展及评述[J];地理与地理信息科学;2011年06期
3 张磊;李玉龙;胡磊;;服务器管理系统双机热备管理软件的设计与实现[J];电脑知识与技术;2009年33期
4 李鸿健;豆育升;唐红;孙世新;;一种可变周期反馈的动态负载均衡算法[J];电子测量与仪器学报;2011年11期
5 冯磊;宋现锋;石泰来;;大规模3DGIS场景的多通道渲染算法研究[J];高技术通讯;2010年09期
6 范希辉;刘萍;崔逊学;吴海兵;;基于云计算理念的分布式仿真容错系统[J];兵工自动化;2012年07期
7 周玉科;马廷;周成虎;高锡章;范俊甫;;MySQL集群与MPI的并行空间分析系统设计与实验[J];地球信息科学学报;2012年04期
8 敖杰刚;徐齐行;;分布式GML空间数据库概述[J];测绘标准化;2012年04期
9 郭立帅;沈婕;朱伟;;线要素化简算法的时间复杂度分析[J];测绘科学技术学报;2012年03期
10 温少君;陈俊杰;郭涛;;一种云平台中优化的虚拟机部署机制[J];计算机工程;2012年11期
中国重要会议论文全文数据库 前1条
1 张彬桥;王鹏宇;刘荣章;李咸善;;水电站分布式仿真系统中自适应模型调度算法[A];第13届中国系统仿真技术及其应用学术年会论文集[C];2011年
中国博士学位论文全文数据库 前10条
1 王强;空间信息服务聚合的关键技术研究[D];解放军信息工程大学;2010年
2 吴长伟;森林监护移动GIS及火灾扑救设备调度关键技术研究[D];东北林业大学;2011年
3 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
4 方雷;基于云计算的土地资源服务高效处理平台关键技术探索与研究[D];浙江大学;2011年
5 曾志;云格环境下海量高分遥感影像资源与服务高效调配研究[D];浙江大学;2012年
6 张传富;仿真网格资源管理系统关键技术研究[D];国防科学技术大学;2006年
7 刘云生;大规模分布式仿真系统容错关键技术研究[D];国防科学技术大学;2006年
8 褚瑞;基于虚拟计算环境的内存资源共享技术研究[D];国防科学技术大学;2007年
9 平学伟;电磁场中的快速有限元分析[D];南京理工大学;2007年
10 张卫;面向并行分布式仿真的服务网格关键技术研究[D];国防科学技术大学;2009年
中国硕士学位论文全文数据库 前10条
1 侯佳奇;社保联网审计中增量数据分布式处理的研究[D];哈尔滨工程大学;2010年
2 谭伟良;集群作业调度优化技术研究[D];昆明理工大学;2009年
3 曾磊;工业无线网络中冗余机制的QoS研究[D];西南大学;2011年
4 蒋秋红;基于RFID中间件的展馆管理系统的设计与实现[D];北京邮电大学;2011年
5 张兴华;基于J2EE的地震现场房屋安全鉴定系统设计与实现[D];中国地震局工程力学研究所;2011年
6 刘阿亭;基于Silververlight的3D数字地球模型构建关键技术及应用研究[D];江西理工大学;2011年
7 张伟文;三维电磁场粒子模拟的并行I/O与负载均衡技术研究[D];华南理工大学;2011年
8 陈蹊;智能网络存储系统(INSS)中存储节点技术研究[D];华南理工大学;2011年
9 陈帆;远程实时图形渲染系统的研究与实现[D];电子科技大学;2011年
10 林振立;云计算环境下的内存资源共享技术研究[D];国防科学技术大学;2010年
【相似文献】
中国期刊全文数据库 前10条
1 韩海军;潘成胜;;一种改进的进程迁移算法研究[J];沈阳理工大学学报;2007年04期
2 肖会会,吴一新,傅育熙;Linux下集群系统openMosix分析[J];计算机仿真;2005年04期
3 胡金柱,徐松;分布式系统中一种负载平衡的动态反馈调整自适应算法[J];小型微型计算机系统;2003年08期
4 艾国栋,李毅;进程迁移中X连接一致性的研究[J];计算机工程与应用;2005年23期
5 黄嵘,苗放;集群系统进程迁移机制研究[J];物探化探计算技术;2002年03期
6 毛文涛;金文标;牟俊;邓通;;Apache服务器集群中套接字迁移的研究与实现[J];计算机工程与应用;2006年17期
7 王占杰;金全凯;;并行计算环境负载信息的动态监测及处理[J];大连理工大学学报;2005年S1期
8 丁汨;王宏勇;段新华;;基于Linux的进程迁移机制设计[J];福建电脑;2008年09期
9 毛文涛;金文标;牟俊;邓通;;Apache服务器进程迁移中文件状态恢复的研究[J];计算机工程与设计;2006年15期
10 蒋江 ,张民选;异构集群系统中基于进程迁移机制的负载平衡算法的研究[J];计算机工程与科学;2003年06期
中国重要会议论文全文数据库 前10条
1 戴涛;杨耀忠;;油藏模拟集群并行负载平衡技术研究[A];第九届全国渗流力学学术讨论会论文集(二)[C];2007年
2 杨晓春;智明;秦国锋;李启炎;;WebGIS服务的动态调度策略[A];计算机技术与应用进展——全国第17届计算机科学与技术应用(CACIS)学术会议论文集(下册)[C];2006年
3 隋翠翠;晏海华;;一种基于高性能集群计算系统的检查点策略[A];2008年全国开放式分布与并行计算机学术会议论文集(下册)[C];2008年
4 王坚;;基于UNIX的集群系统的比较[A];面向21世纪的科技进步与社会经济发展(上册)[C];1999年
5 王长生;;重庆集群移动通信的发展对策与展望[A];四川省通信学会一九九三年学术年会论文集[C];1993年
6 白玎玲;王文春;朱煜;;浅谈高性能集群系统的管理与应用[A];2011年中国气象学会气象通信与信息技术委员会暨国家气象信息中心科技年会论文摘要[C];2011年
7 肖建桥;;实时分布式系统进程迁移的研究[A];武汉市第二届学术年会、通信学会2006年学术年会论文集[C];2006年
8 刘礼农;刘洪;李幼铭;;波动方程三维叠前深度偏移并行计算的负载平衡方案[A];中国科学院地质与地球物理研究所二○○三学术论文汇编·第四卷(油气资源)[C];2003年
9 张千;刘昶;;网格环境下一种基于T-RAG图的关联任务迁移算法[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年
10 付鹏斌;张雪峰;杜金莲;;基于动态反馈的集群渲染系统的实现[A];全国第20届计算机技术与应用学术会议(CACIS·2009)暨全国第1届安全关键技术与应用学术会议论文集(下册)[C];2009年
中国重要报纸全文数据库 前10条
1 林文君;集群系统功能组合[N];人民邮电;2001年
2 邵宗有;融合还是取代?[N];网络世界;2006年
3 张群英;等待集群的中国时代[N];网络世界;2005年
4 本报记者 姜波;小规模集群崛起[N];网络世界;2006年
5 本报记者 江波;中坚力量[N];网络世界;2004年
6 本报记者 张广彬 袁超;高性能计算和存储走向何方[N];计算机世界;2003年
7 祁金华;HPC的曙光 在体验中成长[N];网络世界;2006年
8 苏铁;方正HPCC集群系统为高等教育全面助力[N];国际商报;2005年
9 刘守文;中兴GoTa集群系统的技术和业务创新[N];人民邮电;2005年
10 青岛市委市政府计算机中心 张艳;集群系统集中建设[N];计算机世界;2007年
中国博士学位论文全文数据库 前10条
1 蒋江;异构集群系统中基于进程迁移机制的负载平衡算法的研究[D];国防科学技术大学;2002年
2 卓居超;时移电视集群系统缓存调度研究[D];中国科学技术大学;2010年
3 陈锡明;基于NOW的任务调度和负载平衡方法研究[D];电子科技大学;2000年
4 杨帆;基于负载平衡的新一代核心网络技术研究[D];北京邮电大学;2010年
5 雷州;机群作业管理系统研究[D];中国科学院研究生院(计算技术研究所);1999年
6 张小芳;大规模分布式环境下集群管理系统的研究与实现[D];西北工业大学;2007年
7 唐渊;大规模集群系统的性能评价与通信优化研究[D];中国科学院研究生院(软件研究所);2004年
8 章文嵩;可伸缩网络服务的研究与实现[D];中国人民解放军国防科学技术大学;2000年
9 韩定一;对等网络的社区模型及其在搜索中的应用[D];上海交通大学;2007年
10 王继刚;高可用集群系统中回卷恢复容错技术研究[D];哈尔滨工程大学;2006年
中国硕士学位论文全文数据库 前10条
1 迟忠惠;基于进程迁移的负载均衡算法的研究[D];中国海洋大学;2005年
2 武星燕;Linux集群的进程迁移技术研究[D];哈尔滨工程大学;2008年
3 何入海;基于Linux的集群系统的研究与实现[D];重庆大学;2002年
4 薛瑞尼;面向集群系统的MPI并行程序容错技术研究[D];清华大学;2005年
5 史科军;支持集群系统的linux内核技术研究[D];南京理工大学;2005年
6 蒋淳;基于Agent的集群系统负载平衡技术研究与应用[D];南京航空航天大学;2005年
7 黄涛;基于Linux的分布式系统中的进程迁移技术的设计与实现[D];电子科技大学;2002年
8 阚闯;一种新的基于Linux虚拟服务器集群的动态负载均衡算法[D];中国海洋大学;2008年
9 向文;集群管理系统的研究与设计[D];辽宁师范大学;2008年
10 戴刚;服务器集群关键技术的研究与实现[D];国防科学技术大学;2002年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026