收藏本站
《华中科技大学》 2008年
收藏 | 手机打开
二维码
手机客户端打开本文

具有数据依赖的对等高性能计算关键技术研究

罗飞  
【摘要】: 对等高性能计算系统为解决在任务级并行的计算密集型对等高性能应用所提供的潜在计算能力能够超过以往任何计算系统,因而受到越来越多的关注。然而,现有的典型对等高性能计算系统由于不支持具有数据依赖关系的对等高性能应用而受到限制。因此,有必要研究新的对等高性能计算技术,使对等高性能计算系统支持具有数据依赖关系的应用,从而达到推广对等高性能计算系统的目的。 为了支持任务间具有数据依赖关系的对等高性能应用,重点研究对等高性能计算中的计算资源管理策略、任务调度机制和编程模型这三种关键技术;基于这些技术提出对等高性能计算系统P2HP-2(A Peer-to-peer based High performance computingPlatform-Ⅱ),并结合一个运行实例,对系统的总体性能进行综合评价。 根据具有数据依赖关系的任务对资源分配的要求,通过对等网络GTapestry管理对等高性能计算资源。GTapestry是一个基于无结构工作组的结构化对等网络,从两方面考虑网络匹配要求:其一是对象分派与区域网络构造之间的匹配,其二是虚拟网络和物理网络之间的邻近匹配。为了提高路由效率,GTapestry采用一个对象指针备份机制,即在任务的发布路径上备份任务对象地址,若在路由过程中遇到目标对象的备份地址,则根据该地址直接重定向到对象的实际寄存节点。 为了对具有数据依赖关系的应用进行调度,提出了一种协商协同任务调度策略,它根据任务间的数据依赖关系和计算资源的局部邻居表,通过局部协商的方式对依赖任务进行分派和调度。其中,依赖任务的分派通过协商机制完成,即节点将当前任务的依赖任务赋予优先级,并在与它的邻居节点进行协商后,将依赖任务分派给其中的一个邻居节点。任务的运行通过协同调度机制完成,即在设置好任务运行所需的程序、参数和依赖数据后,运行时系统对任务进行非抢占式单任务调度。同时,各个计算节点根据当前的任务负载,通过局部协商方式动态调整任务的分配,从而实现动态负载平衡。 为了对具有数据依赖关系的应用进行并行化编程,以任务与运行时系统的交互模型为基础,研究了一种单边消息通信编程模型OMP(One-sided Message Passingprogramming model),它由通信库和软件开发包组成。通信库提供了一种单边消息通信机制,并在此基础上实现了软件开发包;应用程序员利用开发包提供的应用编程接口(API,Application Programming Interface),可以通过模块分割的方式对串行程序进行分布式改造。基于编程模型OMP,依赖任务可以利用它所提供的应用编程接口,在应用级主动发起数据请求,进而结合GTapestry的节点通信机制和协商协同任务调度策略,满足任务对依赖数据的请求。 为了验证基于GTapestry的计算资源管理策略、协商协同任务调度机制和单边消息通信编程模型这三种对等高性能计算技术能够支持具有数据依赖关系的应用,利用它们实现了对等高性能计算系统P2HP-2,并针对蛋白质折叠应用,提出并实现了具有静态树状任务依赖关系的1-level-core并行Threading算法,依据该并行算法对系统进行测试和综合性能分析。 与结构化对等网络Tapestry相比,GTapestry更加稳定,且路由效率更高,而动态维护开销更少,通过理论分析和实验,表明基于GTapestry的计算资源管理策略能够满足依赖任务之间的通信需求,并且通信延迟较小;并且协商协同任务调度机制能够对具有数据依赖关系的应用进行调度,它能够自适应于动态计算环境。最后,综合性能分析验证了基于GTapestry的计算资源管理策略、协商协同任务调度机制以及单边消息通信编程模型,使得对等高性能计算系统P2HP-2能够支持具有数据依赖关系的对等高性能应用。
【学位授予单位】:华中科技大学
【学位级别】:博士
【学位授予年份】:2008
【分类号】:TP302

手机知网App
【引证文献】
中国硕士学位论文全文数据库 前1条
1 李铮;基于Linux的小型高性能集群的研究和优化[D];上海交通大学;2012年
【参考文献】
中国期刊全文数据库 前10条
1 罗飞;金海;章勤;张浩;;基于P2P技术的高性能计算平台[J];华中科技大学学报(自然科学版);2005年S1期
2 涂刚,阳富民,卢炎生;基于动态优先级策略的最优软非周期任务调度算法[J];计算机研究与发展;2004年11期
3 林剑柠,吴慧中;基于遗传算法的网格资源调度算法[J];计算机研究与发展;2004年12期
4 韩建军,李庆华,Abbas A.Essa;基于软件容错的动态实时调度算法[J];计算机研究与发展;2005年02期
5 金海;罗飞;章勤;张浩;;一个基于P2P高性能计算的高效数据传输协议[J];计算机研究与发展;2006年09期
6 张绍华,顾宁,刘家茂,施伯乐;基于D-Petri Net和动态调度的网格工作流[J];计算机辅助设计与图形学学报;2005年06期
7 刘振英,方滨兴,姜 誉,张 毅,赵 宏,张 毅;一个调度Fork-Join任务图的新算法[J];软件学报;2002年04期
8 何红波,谭晓超,李斌,李义兵;生物信息学对计算机科学发展的机遇与挑战[J];生物信息学;2005年01期
9 张晓东;张传富;彭科峰;顾文杰;曹立群;王立群;;生物信息学数据库研究进展[J];生物信息学;2006年03期
10 孟宪福;基于优先级的任务调度与负载均衡模型研究[J];小型微型计算机系统;2005年09期
【共引文献】
中国期刊全文数据库 前10条
1 戚冬;刘克礼;张文盛;;词法分析程序的一种高效实现[J];安徽广播电视大学学报;2008年03期
2 王一宾;基于面向对象的编译原理实验的研究[J];安庆师范学院学报(自然科学版);2002年04期
3 张玉州,姚晟;词法分析的有效工具[J];安庆师范学院学报(自然科学版);2005年03期
4 张玉州;王一宾;江克勤;;抽象语法树在属性计算中的应用[J];安庆师范学院学报(自然科学版);2008年04期
5 陈义仁;王一宾;;DFA化简算法的一种改进方法[J];安庆师范学院学报(自然科学版);2009年01期
6 杨超;王一宾;;一种改进的词法分析程序及其类C语言实现[J];安庆师范学院学报(自然科学版);2009年04期
7 张玉州;;编译实验教学之LR(0)分析表的分析与构造[J];安庆师范学院学报(自然科学版);2011年01期
8 王一宾;陈义仁;;研究性学习理念下的《编译原理》教学研究[J];安庆师范学院学报(自然科学版);2011年04期
9 孙冀侠,李迎春,李季,姜秀玉;提高编译程序容错能力的方法[J];鞍山师范学院学报;2003年02期
10 孙冀侠;何丽宏;;基于大规模文法的LR表的优化策略[J];鞍山师范学院学报;2006年02期
中国重要会议论文全文数据库 前8条
1 张维勇;潘承锦;陆阳;;大坝安全监测系统结构设计及采样数据处理策略研究[A];2005年“数字安徽”博士科技论坛论文集[C];2005年
2 ;The Embedded Gateway Based on P2P Protocol[A];第二十六届中国控制会议论文集[C];2007年
3 刘培培;李连;丛海鹏;谢勇;;基于多代理协商机制的任务调度系统研究[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集(下)[C];2006年
4 蔡启先;王智文;陈志成;;跨平台的汇编语言集成环境的设计与实现[A];广西计算机学会2008年年会论文集[C];2008年
5 杨长平;;生物信息学在畜禽基因组研究中的应用[A];中国农业信息科技创新与学科发展大会论文汇编[C];2007年
6 张琨;;面向对象软件的测试过程与方法的研究[A];第七届青年学术会议论文集[C];2005年
7 张绍华;丁志刚;宗宇伟;顾宁;;网格工作流动态调度算法研究[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
8 赵辉;;Research on Hardware/Software Partition of Future Transfiguration Aircraft Store Management System[A];第24届中国控制与决策会议论文集[C];2012年
中国博士学位论文全文数据库 前10条
1 朱萍;硬实时容错调度算法研究[D];华中科技大学;2011年
2 王炜;面向大规模片上多处理器的片上网络关键技术研究[D];清华大学;2010年
3 杨浩澜;动态网格计算工作流关键技术研究[D];重庆大学;2011年
4 傅琛;面向多核系统的高性能硬件事务存储的优化研究[D];哈尔滨工业大学;2011年
5 李光锐;广义资源约束下的网络化协同设计多项目管理方法与应用研究[D];重庆大学;2011年
6 崔金栋;基于本体的网格信息检索模型研究[D];吉林大学;2011年
7 刘耘;基于合作网络的虚拟企业构建关键问题研究[D];电子科技大学;2011年
8 赵明;具备约束的实时调度关键问题的研究[D];东北大学;2010年
9 付剑晶;遥感软件知识产权与数字遥感影像版权保护[D];浙江大学;2012年
10 薄涛;格斗空战行为建模技术研究[D];国防科学技术大学;2002年
中国硕士学位论文全文数据库 前10条
1 伍小聪;网格资源调度研究及科学数据平台的应用[D];长春理工大学;2010年
2 周伟武;基于GIS烟草配送线路优化技术的研究[D];浙江理工大学;2010年
3 刘文佳;多核处理器Cache一致性研究与设计[D];哈尔滨工程大学;2010年
4 牛庆建;基于遗传算法多目标P2P任务调度策略研究[D];大连理工大学;2010年
5 朱玉丹;基于非独立任务优先级的网格调度算法的研究[D];大连理工大学;2010年
6 董峰;基于资源匹配度的P2P动态任务调度策略研究[D];大连理工大学;2010年
7 魏红;网络互连配置仿真培训系统的设计和实现[D];苏州大学;2010年
8 赵磊;适应多核处理器的任务调度研究[D];哈尔滨理工大学;2010年
9 王浩;基于XML的开放式工业机器人解释器的研究[D];华南理工大学;2010年
10 石林勇;多处理器全局FP调度算法的研究[D];江苏大学;2010年
【同被引文献】
中国期刊全文数据库 前7条
1 张文力;陈明宇;樊建平;;HPL测试性能仿真与预测[J];计算机研究与发展;2006年03期
2 蒋英,雷永梅;基于MPI的几种算法的并行编程通用算法[J];计算机工程与应用;2003年03期
3 王萃寒;赵晨;许小刚;吴国新;;分布式并行计算环境:MPI[J];计算机科学;2003年01期
4 解庆春;张云泉;王可;李焱;许亚武;;SIMD技术与向量数学库研究[J];计算机科学;2011年07期
5 李小洲,李庆华;矩阵相乘Cannon并行算法在工作站机群上的实现[J];计算机工程;2002年06期
6 王磊;张云泉;刘芳芳;张先轶;;基于混合精度算法的改进HPL软件包[J];计算机工程;2010年19期
7 伍湘君,黄丽萍;超级计算机上矩阵乘的并行计算与实现[J];应用气象学报;2005年01期
中国博士学位论文全文数据库 前1条
1 陈永然;面向高性能计算的性能评价模型技术研究[D];国防科学技术大学;2007年
中国硕士学位论文全文数据库 前10条
1 王亭亭;基于OpenMP和MPI的并行算法研究[D];吉林大学;2011年
2 陈科;基于高性能计算机的并行计算研究[D];大连理工大学;2011年
3 张治宏;基于MPI的并行计算研究[D];中国地质大学(北京);2006年
4 霍旭光;基于MPI高性能计算方法的研究[D];中国地质大学(北京);2006年
5 张文力;基于SMP的线程轻化相关研究[D];中国科学院研究生院(计算技术研究所);2005年
6 王勇超;高性能计算集群技术应用研究[D];西安理工大学;2007年
7 李永旭;基于MPI标准的并行计算平台的设计与实现[D];东北师范大学;2007年
8 李强;32位图像向量处理器关键技术研究与设计[D];大连理工大学;2009年
9 周灿;基于MPI的矩阵运算并行算法研究[D];重庆大学;2010年
10 张佳;基于NFS的云存储网关的研究[D];电子科技大学;2010年
【二级参考文献】
中国期刊全文数据库 前6条
1 张宏莉,胡铭曾,方滨兴,王义和;群机系统上单并发任务簇的近优分配算法[J];计算机研究与发展;1999年09期
2 陈劲林,杨士元,胡东成;基于确定周期性任务的进程管理及可调度性分析[J];计算机研究与发展;2000年03期
3 钟求喜,谢涛,陈火旺;基于遗传算法的任务分配与调度[J];计算机研究与发展;2000年10期
4 秦啸,韩宗芬,庞丽萍;基于异构分布式系统的实时容错调度算法[J];计算机学报;2002年01期
5 卢美律;卢力;张渡;;蛋白质结构预测与机器学习[J];科学;1996年05期
6 何军,孙玉方;提高软非周期任务响应性能的调度算法[J];软件学报;1998年10期
【相似文献】
中国期刊全文数据库 前10条
1 颜洪梅,杨方廷;运用网格技术实现地震减灾科学计算系统[J];计算机工程与应用;2005年33期
2 蒋文斌;;世界高性能计算领域的研究动向[J];国际学术动态;2005年05期
3 王占杰;陈科;;基于64位的HPC应用研究[J];微计算机信息;2010年29期
4 吕晓娟;;网格计算——全球信息化的新航标[J];计算机与网络;2009年05期
5 王杨;王汝传;赵慧娟;;基于移动代理的P2P与网格融合技术研究[J];江苏通信技术;2006年06期
6 傅忠传;高洋;李东;张泽旭;崔平远;李馨梅;;Metric多核子方法划分编译算法设计与实现[J];哈尔滨工业大学学报;2011年07期
7 柴亚辉;沈文枫;张倬;唐振;;Cell BE高性能计算实验平台设计与实现[J];实验室研究与探索;2011年05期
8 董瑞洪;张秋雨;;网格技术在企业中的应用研究[J];甘肃科技;2007年12期
9 吴敏;;网格技术在企业中的应用研究[J];甘肃科技;2008年02期
10 王建明;张树斌;;浅谈GPU在遥感影像融合中的应用[J];太原科技;2010年01期
中国重要会议论文全文数据库 前10条
1 王勇;;应急管理与高性能计算(节选)[A];“广东科协论坛第27期:高性能计算与技术创新”荟萃[C];2009年
2 袁勇;;地下结构高性能计算的挑战[A];首届工程设计高性能计算(HPC)技术应用论坛报告集[C];2007年
3 李根国;吴建成;;高性能计算在工业工程领域的应用和发展[A];庆祝中国力学学会成立50周年暨中国力学学会学术大会’2007论文摘要集(下)[C];2007年
4 ;陈仲驹[A];“广东科协论坛第27期:高性能计算与技术创新”荟萃[C];2009年
5 姜弘道;;高性能计算与水利工程[A];中国力学学会学术大会'2005论文摘要集(下)[C];2005年
6 叶洎沅;;Altair建筑行业CAE创新平台解决方案[A];首届工程设计高性能计算(HPC)技术应用论坛报告集[C];2007年
7 陈岱林;;前言[A];首届工程设计高性能计算(HPC)技术应用论坛论文集[C];2007年
8 顾国平;周隽;;基于IBM的高性能计算平台解决方案[A];首届工程设计高性能计算(HPC)技术应用论坛论文集[C];2007年
9 赵恒;;达索系统3D PLM加速&扩展企业业务价值[A];首届工程设计高性能计算(HPC)技术应用论坛报告集[C];2007年
10 王爱英;张倩芸;;基于GPU的高性能计算及在矩阵运算中的应用[A];第十三届全国信号处理学术年会(CCSP-2007)论文集[C];2007年
中国重要报纸全文数据库 前10条
1 汪东升;聚焦高性能计算[N];计算机世界;2001年
2 王宏;高性能计算提速生物信息学[N];中国计算机报;2003年
3 王宏;高性能计算应用于生物信息学领域[N];中国计算机报;2003年
4 孙文;从生物信息研究看国产高性能计算[N];中国电子报;2003年
5 肖坤;实现5000亿次的突破[N];中国电脑教育报;2007年
6 本报记者  义川;浪潮高性能计算 创新奖颁奖[N];网络世界;2006年
7 凡妮;IBM BladeCenter QS22将高性能计算带到实验室之外[N];电脑商报;2008年
8 本报记者 汤铭;高性能计算应用提速[N];计算机世界;2008年
9 本报记者 姜波;“麦莎”走了,高性能来了[N];网络世界;2005年
10 徐日;戴尔领跑高性能计算群集市场[N];中国信息报;2004年
中国博士学位论文全文数据库 前10条
1 罗飞;具有数据依赖的对等高性能计算关键技术研究[D];华中科技大学;2008年
2 张浩;基于结构化对等网络的高性能计算平台关键技术研究[D];华中科技大学;2009年
3 殷锋;基于QoS的校园网格中关键技术研究[D];四川大学;2006年
4 姜文超;生物信息学网格环境下任务调度关键技术研究[D];华中科技大学;2009年
5 马光志;多代价敏感的反传神经网络优化研究[D];华中科技大学;2009年
6 刘德刚;对等计算环境中矢量空间数据索引模型与查询算法研究[D];华中科技大学;2009年
7 程斌;对等点播系统数据分发关键技术研究[D];华中科技大学;2009年
8 周世杰;对等计算中的分布式路由算法及其安全性研究[D];电子科技大学;2004年
9 钱卫宁;对等计算系统中的数据管理[D];复旦大学;2004年
10 史海滨;无线蜂窝通信系统呼叫接纳控制相关模型及其QoS研究[D];华中科技大学;2008年
中国硕士学位论文全文数据库 前10条
1 万玮;基于网络处理器开发环境编译器研究及实现[D];西北工业大学;2006年
2 周祎生;网格环境下基于Agent技术资源管理的研究[D];南京理工大学;2004年
3 朱莉;EPLRS中AODV路由与资源管理结合技术研究[D];电子科技大学;2005年
4 齐旗;黄海生物资源管理法律问题研究[D];中国海洋大学;2009年
5 苏天醒;基于RDF的信息网络服务平台资源管理的研究[D];北京邮电大学;2010年
6 赵峰;公务人力资源管理信息系统的研究[D];郑州大学;2003年
7 王婧;基于SNMP数据采集资源管理研究[D];吉林大学;2005年
8 张军;基于市场经济的网格资源管理的问题研究[D];南京理工大学;2005年
9 张超速;基于信息网格的视频信息服务系统构架研究[D];电子科技大学;2005年
10 邬本明;青岛宝兰格资源管理项目可行性研究[D];南京理工大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026