收藏本站
《大连理工大学》 2012年
收藏 | 手机打开
二维码
手机客户端打开本文

并行与分布式计算负载均衡问题研究

杨际祥  
【摘要】:多核计算、集群计算以及新兴的云计算成为当前的主要计算模式。多核大众化并行计算成为未来计算的主流已成为工业界与学术界的共识,基于多核节点的多核集群成为高性能计算(HPC)的一种发展趋势,而云计算作为一种特定的分布式计算,近年来受到了工业界和学术界的广泛关注。随着多核、集群系统的核数与计算节点数目的不断增长,以及要求提供云服务的用户数量不断增多,对计算的性能和可扩展性的需求从来没有像目前这样迫切过。负载均衡作为提高并行与分布式计算性能和可扩展性的一个关键技术,相关问题亟待得到研究与解决。本文主要从可应用性驱动、结构驱动和软件驱动三个方面对并行与分布式计算的负载均衡问题展开了研究。本文的主要研究工作如下: (1)针对动态负载均衡(DLB)的基本问题,给出了DLB的主要目标和基本定义,在此基础之上,给出了DLB问题的一种形式化描述;根据DLB策略的主要特征提出了-个综合分类方法。 (2)针对负载均衡策略的可应用性问题,研究了在简单性和性能之间可获得一个较好折中的贪婪动态负载均衡(GDLB)策略。将GDLB策略应用于基于BP和SVM的大规模交通流并行预测问题,可提高预测速度和规模。 (3)传统的Work-Stealing(简称WS)策略在面临需要传输大量数据的应用和具有层次结构的平台时,它的通讯时间通常令人无法忍受。针对该问题以及分治计算问题,本文提出了一种层次结构的WS (DaCHWS)策略,实验结果验证了DaCHWS策略性能优于Work-Sharing和Satin-CRS策略。 (4)考虑了大规模分布式计算系统的通讯延迟开销和延迟时变性特征,提出一种基于广义神经网络的层次结构动态负载均衡(GNNDLB)策略,仿真实验验证了GNNDLB策略优于同类策略:针对多核集群通讯的层次结构特征,考虑了节点内冲突代价,提出了以最小化计算代价、节点间通讯代价和节点内冲突代价的总代价为目标的多核集群任务分配问题,通过建立任务分配问题与最小费用流问题的等价关系来分析并证明节点内冲突代价对问题复杂性的影响关系,并给出了一个求解模型,理论分析和实验结果验证了相应理论结果的正确性和求解模型的有效性。 (5)针对多核大众化并行计算的提高多核应用程序开发产能同时获得并行性能收益这个核心目标,设计并实现了一个轻量级的基于用户层次的WS调度策略的多核多线程并行编程库(UCMLib)。该库基于任务原语概念,提供了数据并行性和任务并行性两种并行模式,对多线程编程的复杂性进行了封装和抽象,为开发者提供高级的编程方法而不必显示地考虑锁和竞争,简化并行编程难度,提高开发效率。性能测试表明,当计算规模较大时,UCMLib在数据并行性与任务并行性两方面获得了比TPL库略优的加速比。此外,分析了未来多核软件研究的几个关键问题。
【学位授予单位】:大连理工大学
【学位级别】:博士
【学位授予年份】:2012
【分类号】:TP338

免费申请
【参考文献】
中国期刊全文数据库 前3条
1 胡瑞敏,徐正全,姚天任,李德仁;广义知识存储原理与高阶广义神经网络[J];电子学报;1996年07期
2 谭国真,丁浩;广义神经网络的研究及其在交通流预测中的应用[J];控制与决策;2002年S1期
3 杨兆升;王媛;管青;;基于支持向量机方法的短时交通流量预测方法[J];吉林大学学报(工学版);2006年06期
【共引文献】
中国期刊全文数据库 前10条
1 张毅,罗元;基于人工神经网络城市交通流量智能预测的研究[J];重庆邮电学院学报(自然科学版);2005年02期
2 刘克剑,刘心松,左朝树;区分任务类型的资源负载平衡算法——TDSA[J];电子科技大学学报;2004年05期
3 胡瑞敏,徐正全,姚天任,李德仁;人工神经元网络的智能神经元模型[J];电子学报;1996年04期
4 杨世坚,贺国光;基于模糊C均值聚类和神经网络的短时交通流预测方法[J];系统工程;2004年08期
5 杨兆升,姜桂艳;基于高阶神经网络的城市交通诱导理论模型[J];公路交通科技;1998年02期
6 杨兆升,谷远利;实时动态交通流预测模型研究[J];公路交通科技;1998年03期
7 谭国真,李程旭,刘浩,伍建焜;交通网格的研究与应用[J];计算机研究与发展;2004年12期
8 张永坤,金海,唐丹;一种基于进程剩余运行时间总和的集群动态负载平衡算法[J];计算机工程与科学;2005年05期
9 刘克剑,刘心松,吴艾;一种多资源负载平衡算法———RLBA[J];计算机应用;2005年07期
10 谭国真,瞿晓高,李栋;QoS计算机网络路由算法[J];计算机应用研究;2003年10期
中国重要会议论文全文数据库 前1条
1 谷远利;余惠华;;动态交通流量预测方法研究[A];可持续发展的中国交通——2005全国博士生学术论坛(交通运输工程学科)论文集(上册)[C];2005年
中国博士学位论文全文数据库 前8条
1 谭国真;时变、随机网络最优路径算法及其应用研究[D];大连理工大学;2002年
2 曾碧卿;分布式计算中并行I/O调度策略研究[D];中南大学;2005年
3 李艳;城市交通网络动态交通流模型和交通信号智能控制研究[D];中南大学;2005年
4 张昊;移动定位平台和位置管理关键技术研究[D];北京邮电大学;2006年
5 朱文兴;城市交通系统智能优化控制研究[D];山东大学;2006年
6 赵耀;下一代网络分布式业务逻辑执行环境负载平衡算法的研究[D];北京邮电大学;2007年
7 臧利林;城市交通信号优化控制算法研究[D];山东大学;2007年
8 姚智胜;基于实时数据的道路网短时交通流预测理论与方法研究[D];北京交通大学;2007年
中国硕士学位论文全文数据库 前10条
1 周嘉林;铁通VOD机群系统负载均衡的研究与实现[D];广东工业大学;2004年
2 杨杨;带有优先级的多SCP智能网过载控制算法[D];湖南大学;2006年
3 刘浩;交通网格平台及交通流服务的研究[D];大连理工大学;2005年
4 丁浩;交通流预测与配流的研究[D];大连理工大学;2003年
5 林小玲;基于遗传神经网络的车辆动态最短路径研究与实现[D];福州大学;2005年
6 林钢;基于数据挖掘的前向型神经网络在交通流时序预测中的应用[D];东南大学;2004年
7 张惠琳;一种基于PVM的负载均衡系统的设计与实现[D];华中科技大学;2004年
8 程伟;网络服务负载均衡技术的研究与实现[D];国防科学技术大学;2004年
9 孙世明;Linux集群系统任务调度策略的研究与设计[D];河海大学;2006年
10 刘兆明;基于随机高级Petri网模型的服务器均衡集群研究[D];西安建筑科技大学;2006年
【二级参考文献】
中国期刊全文数据库 前10条
1 胡瑞敏,徐正全,姚天任,李德仁;广义知识存储原理与高阶广义神经网络[J];电子学报;1996年07期
2 杨兆升,李全喜;基于城市交通控制系统的动态车辆行驶路线选择的方法[J];公路交通科技;1999年01期
3 陈浩,陈立辉,毕笃彦,毛柏鑫;BP网络和支持向量机在非线性函数逼近中的应用[J];航空计算技术;2004年03期
4 陈国良,梁维发,沈鸿;并行图论算法研究进展[J];计算机研究与发展;1995年09期
5 杨兆升;王媛;管青;;基于支持向量机方法的短时交通流量预测方法[J];吉林大学学报(工学版);2006年06期
6 谭国真,高文;时间依赖的网络中最小时间路径算法[J];计算机学报;2002年02期
7 唐丹,金海,张永坤;集群动态负载平衡系统的性能评价[J];计算机学报;2004年06期
8 安虹,陈国良;并行程序设计模型和语言[J];软件学报;2002年01期
9 胡瑞敏,姚天任,黄铁侠;基于神经网络的大容量非话业务监测管理系统[J];通信学报;1995年03期
10 毛睿,黄刘生,徐大杰,陈国良;淮河中上游群库联合优化调度算法及并行实现[J];小型微型计算机系统;2000年06期
【相似文献】
中国期刊全文数据库 前10条
1 黄荣喜;;基于开源软件的分布式WEB系统研究与设计[J];广西轻工业;2008年01期
2 张应刚;;分布计算中间件技术的探讨[J];科技创新导报;2009年02期
3 申敏;魏玄;;分布式IMS架构与关键技术[J];数字通信;2009年06期
4 耿立波,徐悦;一种基于实现仓库的负载均衡模型[J];计算机工程;2004年07期
5 王继曾,张秋余,杨俊秀,王娜;一种基于语义的负载均衡调度算法[J];甘肃工业大学学报;2003年04期
6 杨晓军;;全局服务负载均衡策略的常见技术及应用[J];中国科技信息;2004年22期
7 陈利兵;张阳安;黄永清;李玲;任晓敏;;基于遗传算法的静态逻辑拓扑设计[J];北京邮电大学学报;2006年01期
8 沙波;刘杰;;负载均衡技术在WAP网关中的应用[J];北京工商大学学报(自然科学版);2006年04期
9 郭丽娜;钱华林;葛敬国;王兴杰;张道庆;;基于网络处理器的入侵防护系统的设计与实现[J];微电子学与计算机;2006年11期
10 田波;;MPLS负载均衡实现技术[J];信息安全与通信保密;2007年05期
中国重要会议论文全文数据库 前10条
1 季磊;谭庆平;;一种针对CDN系统的负载均衡解决方案[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
2 张敏;郭军华;陈飞;;Linux集群技术研究与应用[A];电工理论与新技术2004年学术研讨会论文集[C];2004年
3 马婕;蒋青;唐伦;陈前斌;;用多代理联盟解决泛在网络的负载均衡[A];2009年全国无线电应用与管理学术会议论文集[C];2009年
4 赵立芳;马向南;;WLAN中双链路负载均衡的研究与应用[A];中国通信学会第六届学术年会论文集(下)[C];2009年
5 陈明;王振武;;基于.NET Remoting技术的分布式构件库模型[A];2007年全国开放式分布与并行计算机学术会议论文集(上册)[C];2007年
6 史军晖;程良伦;;EASNS:一种能量敏感、负载均衡的感知节点调度算法[A];中国自动化学会中南六省(区)2010年第28届年会·论文集[C];2010年
7 翟晓波;杨放春;;Parlay Framework中基于负载感知的业务发现方法[A];2005通信理论与技术新进展——第十届全国青年通信学术会议论文集[C];2005年
8 徐萌;孟祥武;陈俊亮;梅翔;;综合业务平台负载均衡的研究[A];2006年全国通信软件学术会议论文集[C];2006年
9 郑旭明;胡光岷;;基于链路丢包率估计的Ad Hoc网络负载均衡路由[A];2008年中国西部青年通信学术会议论文集[C];2008年
10 黄海月;;基于负载均衡的无线Mesh骨干网接入算法[A];2009年研究生学术交流会通信与信息技术论文集[C];2009年
中国重要报纸全文数据库 前10条
1 于开年 张国才 史韶惠;路由器实现线路负载均衡[N];网络世界;2002年
2 何支涛;牵手:反垃圾、Web防御、负载均衡[N];网络世界;2008年
3 本报记者 边歆;随需而变 创新不止[N];网络世界;2009年
4 本报记者 张旭军;博科负载均衡新品的四大优势[N];网络世界;2010年
5 ;负载均衡让宝钢网络不再中断[N];网络世界;2007年
6 张旭军;根深枝茂[N];网络世界;2007年
7 新疆财经学院 孙彬;负载均衡的电子商务技术[N];新疆科技报(汉);2001年
8 河北省沙河市二十冶高中 于江波;负载均衡[N];中国电脑教育报;2004年
9 F5金融行业解决方案咨询经理 扬明飞;给应用加份“保险”[N];网络世界;2007年
10 ;Array负载均衡助中石油加油卡系统[N];人民邮电;2009年
中国博士学位论文全文数据库 前10条
1 杨际祥;并行与分布式计算负载均衡问题研究[D];大连理工大学;2012年
2 张泽华;云计算联盟建模及实现的关键技术研究[D];云南大学;2010年
3 王小海;常数度P2P系统负载均衡与拓扑优化技术研究[D];国防科学技术大学;2010年
4 曾锋;无线Mesh网流量负载均衡关键技术研究[D];中南大学;2010年
5 曾碧卿;分布式计算中并行I/O调度策略研究[D];中南大学;2005年
6 王强华;基于公共信道信令模型的网格体系结构研究[D];西北大学;2006年
7 吴宇;对等网络内容搜索及索引缓存研究[D];中国科学院研究生院(计算技术研究所);2006年
8 丁火平;基于空间信息技术的城市应急管理系统研究[D];中国地质大学(北京);2009年
9 王红斌;Web服务器集群系统的自适应负载均衡调度策略研究[D];吉林大学;2013年
10 胡晓峰;并行路由器体系结构若干关键技术研究[D];国防科学技术大学;2004年
中国硕士学位论文全文数据库 前10条
1 吕月梅;结构化P2P系统的负载均衡策略的研究[D];北京邮电大学;2011年
2 张永辉;DHT服务器集群系统的负载均衡研究[D];北京邮电大学;2011年
3 李磊;分布式计算引擎的集群管理及负载均衡策略研究[D];电子科技大学;2011年
4 胡利军;Web集群服务器的负载均衡和性能优化[D];北京邮电大学;2010年
5 周顺;面向Web Service的负载均衡策略研究[D];湖南大学;2010年
6 刘会明;基于移动Agent的理性迁移与负载均衡研究[D];华中科技大学;2006年
7 冯青峰;基于Java RMI的分布对象负载均衡研究与实现[D];西安电子科技大学;2002年
8 李志;基于P2P技术的分布计算环境研究[D];吉林大学;2004年
9 李莉;图书馆类网站建设的若干技术问题研究[D];华中师范大学;2004年
10 方瑞;自助建站负载均衡解决方案研究与实现[D];北京邮电大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026