收藏本站
《国防科学技术大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

面向高效能计算的大规模资源管理技术研究与实现

卢宇彤  
【摘要】: 高性能计算发展到今天,已经从单一地追求高性能转向致力于实现系统的高效能,提高系统的实际性能、可编程性、可移植性和健壮性,降低系统的开发、运行以及维护成本。然而,由于百千万亿次以上高性能计算机系统具有规模庞大、结构复杂和组成异构多样等特点,为了实现高效能目标,系统必须解决实际应用的持续性能难以提升、管理效率低、可靠性差、能源消耗巨大等多个挑战性问题。这些问题对高效能计算机系统的大规模资源管理系统在性能、功能和可扩展性等多个方面提出了很高的要求,大规模资源管理技术成为高效能计算机系统实现的一个重大挑战性技术问题。 论文以我们自行研制的可扩展共享存储(S2MP:Scalable Shared Memory Processing)体系结构的高性能计算机系统上的大规模资源管理系统实现为基础,以面向高效能大规模并行计算机系统的高效资源管理技术为主要研究内容,在资源管理模型、资源管理系统的可扩展技术、综合优化的调度机制、用户作业自动恢复的容错管理方法以及系统能耗管理技术等方面展开研究,本文主要工作和贡献如下: 1、提出了大规模并行计算机系统的深度资源信息模型DRIM,克服了传统资源管理系统所关注的资源对象粒度过粗和资源描述能力不足的问题,针对高效能计算系统的特点建立了实体模型、功能模型和应用模型,更加全面、准确地描述了计算资源、通信资源、存储资源、多模式应用等各方面的特征,并将资源对象之间的关系模型化,使得管理策略更有效,管理功能可扩展性更好,为大规模并行系统高效的作业调度与资源分配提供了有力支撑。 2、设计了动态层次式级联资源管理结构,提出了基于自组织方式的级联服务动态创建方法,优化了资源管理系统的通信协议,设计了轻载的传输协议来减少大规模资源管理开销,采用硬件通讯机制实现高效的控制消息传递,通过全局操作与综合优化实现大规模作业的快速加载,解决了资源管理系统的规模可扩展问题。采用基于构件的系统实现结构支持资源管理的功能扩展。在由2048个多核处理器构成的S2MP体系结构的系统上进行了资源管理系统的实现和测试,测试结果表明系统具有良好的可扩展性。 3、提出了基于综合优先级的调度策略,综合考虑系统的作业属性、资源属性和服务属性中的多个因素,提升了调度机制的灵活性和有效性;设计了可变深度的回填调度策略MC-Backfill,实现了根据队列实际状态对Backfill的深度和频度的动态调整,较好地协调了系统的公平性目标和高吞吐率目标的实现。系统测试表明,MC-Backfill策略可以在用户对作业执行时间估计不准确的情况下较好地减少作业平均等待时间,提高系统吞吐率。 4、建立了一种高性能计算系统的故障分布模型,提出了基于Checkpoint/Restart的作业容错执行时间模型;设计了面向可靠性的检查点周期选择算法和最优结点集合选择方法,增强了系统中作业运行的可靠性;实现了基于Checkpoint机制的作业自动容错,避免了系统运行过程中的人工干预,降低了系统的平均故障恢复时间,提高了系统的可用性。 5、结合系统级和应用级的能耗管理技术,从资源管理系统的角度研究了全系统能耗管理,设计了能耗约束条件下的资源分配方法进行系统级的结点能耗管理;提出了基于负反馈的两级能耗管理模型进行应用级的能耗管理,基于访存带宽和I/O带宽的利用率,采用线性控制和模糊控制相结合的方法动态调整并行应用线程和进程数目,适时将空闲处理器核关闭以节约系统能耗。并给出了对能耗控制管理有效性的测试和分析。
【学位授予单位】:国防科学技术大学
【学位级别】:博士
【学位授予年份】:2009
【分类号】:TP311.52

手机知网App
【引证文献】
中国期刊全文数据库 前1条
1 李大普;陈光喜;李肯立;;异构系统中基于可用性的粒子群任务调度算法[J];计算机工程与科学;2012年06期
中国博士学位论文全文数据库 前1条
1 所光;面向科学计算应用的多核处理器Cache划分策略研究[D];国防科学技术大学;2009年
【参考文献】
中国期刊全文数据库 前3条
1 谢旻;卢宇彤;周恩强;;MPICH2-CMEX:可扩展消息传递接口实现技术[J];计算机工程与应用;2008年02期
2 周毓麟,沈隆钧;高性能计算的应用及战略地位[J];中国科学院院刊;1999年03期
3 徐国荣 ,于志鲁 ,廖振民 ,袁仙春 ,周淑荣;多物质可压缩流体力学的欧拉数值方法[J];数值计算与计算机应用;1980年03期
【共引文献】
中国期刊全文数据库 前10条
1 冯瑞琴;;基于PLC和模糊控制技术的污水处理控制系统设计与实现[J];安徽农业科学;2011年34期
2 冯晓君,刘凤然,郭磊,吴龑,卢灵;智能控制理论在倒立摆控制系统中的应用[J];北方工业大学学报;2003年03期
3 吴娜炯;;Takagi-Sugeno模糊控制器仿真与稳定性分析[J];办公自动化;2008年14期
4 王红岩,秦大同;无级变速汽车综合控制策略的仿真研究[J];兵工学报(坦克装甲车与发动机分册);2000年02期
5 谢庆涛,高建臣,吴平东;PWM电液位置控制系统自调整模糊控制器的研究[J];兵工自动化;1997年02期
6 赵金,王光龙,万淑芸;交流调速系统模糊PID控制[J];兵工自动化;2000年02期
7 涂侯杰,恽寿榕,赵衡阳;破爆型串联战斗部第一级爆炸对第二级影响的研究[J];兵工学报;1994年03期
8 高玉奎,谢超,王幸之;带有模糊控制器的锁相环异步电动机调速系统[J];兵工学报;1998年01期
9 张琦,郭坚毅;时序模型实时参数估计的模糊加权递推最小二乘算法及其应用研究[J];兵工学报;2001年01期
10 王金航,秦世引,陈明跃;水幕冷却过程中供水系统的模糊建模与仿真[J];北京工业大学学报;2002年04期
中国重要会议论文全文数据库 前10条
1 胡春雨;李武峰;严辉;;一种新型电动汽车智能充电机的研制[A];第十四届中国科协年会第19分会场:电动汽车充放电技术研讨会论文集[C];2012年
2 梁捷;陈力;;漂浮基空间机械臂姿态、关节协调运动的模糊变结构滑模控制[A];第二十六届中国控制会议论文集[C];2007年
3 陈志煌;陈力;;漂浮基双臂空间机器人本体与末端抓手协调运动的模糊滑模控制[A];第二十六届中国控制会议论文集[C];2007年
4 乔美英;兰建义;;模糊逻辑神经网络控制在交流调速系统中的仿真研究[A];第二十七届中国控制会议论文集[C];2008年
5 史玉林;;基于模糊的PID控制[A];创新沈阳文集(A)[C];2009年
6 宁建国;任会兰;李伟;;爆炸与冲击问题的模拟与仿真[A];“力学2000”学术大会论文集[C];2000年
7 李劼;李民军;肖劲;杨建红;蒋英刚;丁凤其;吴智明;苟峰;;铝电解槽槽电阻的智能控制方法研究[A];信息科学与微电子技术:中国科协第三届青年学术年会论文集[C];1998年
8 王岩;陶薇;;污水处理曝气系统中节能检控技术的应用[A];节能环保 和谐发展——2007中国科协年会论文集(一)[C];2007年
9 张慧;朱轶峰;邵亦陈;董春林;;模糊控制技术在等离子焊接质量控制中的应用[A];第九次全国焊接会议论文集(第1册)[C];1999年
10 陈美查;杨煜普;;园区供水水井电泵恒压模糊控制系统[A];先进制造技术论坛暨第三届制造业自动化与信息化技术交流会论文集[C];2004年
中国博士学位论文全文数据库 前10条
1 吴乐彬;基于电液伺服并联六自由度机构的广义负载模拟理论和实验研究[D];浙江大学;2010年
2 周巍;煤矿井下搜救探测机器人的路径规划及轨迹跟踪控制研究[D];太原理工大学;2011年
3 杨铭;基于主动转向和横摆力矩控制的多轴车辆制动稳定性研究[D];吉林大学;2011年
4 张海光;面向质量的差压式真空注型工艺及系统研究与实现[D];上海大学;2011年
5 李庆春;新型PID模糊控制器的结构分析及应用研究[D];中南大学;2010年
6 陈文轶;几类不确定系统的滑模变结构控制[D];中国海洋大学;2010年
7 路永坤;稳定变论域模糊控制系统设计方法研究[D];天津大学;2010年
8 储剑波;驱动空调压缩机的永磁同步电动机的控制技术研究[D];南京航空航天大学;2010年
9 朱丽娜;二维稳态传热系统的模糊反演及其应用[D];重庆大学;2011年
10 王弼陡;全自动化学发光免疫分析仪测控系统的研究[D];中国科学院研究生院(长春光学精密机械与物理研究所);2010年
中国硕士学位论文全文数据库 前10条
1 黄磊;模糊控制技术在热风炉温控系统中的应用研究[D];长春理工大学;2010年
2 杨薇;多轴同步传动磨毛整理机控制技术研究[D];浙江理工大学;2010年
3 张华杰;模糊神经网络在肺癌诊断中的应用[D];郑州大学;2010年
4 胡扬超;基于模糊自适应PID压铸机控制系统的研制[D];郑州大学;2010年
5 李翠云;基于PLC与模糊PID的混凝投药复合控制系统的研究[D];山东农业大学;2010年
6 潘胤卓;舰炮自动化弹库交流伺服系统研究[D];哈尔滨工程大学;2010年
7 王存刚;基于ADAMS的船载特种起重机动力学仿真与控制研究[D];哈尔滨工程大学;2010年
8 王岱荣;空间多级倒立摆控制系统研究[D];大连理工大学;2010年
9 林媛媛;基于模糊PI控制器的STATCOM研究[D];辽宁工程技术大学;2010年
10 张丰敏;矿井局部扇风机智能控制系统的研究[D];辽宁工程技术大学;2010年
【同被引文献】
中国期刊全文数据库 前5条
1 何川;;网格中任务调度算法研究[J];电脑知识与技术;2009年18期
2 孙广中 ,陈国良 ,陈辰 ,许舸 ,张铮;线性网络上分布式任务调度算法[J];计算机研究与发展;2003年10期
3 邵立松;孔金珠;戴华东;;芯片级多线程处理器的操作系统调度研究[J];计算机工程;2009年15期
4 李建国;陈松乔;鲁志辉;;实时异构系统的动态分批优化调度算法[J];计算机学报;2006年06期
5 所光;杨学军;;面向多线程多道程序的加权共享Cache划分[J];计算机学报;2008年11期
【二级引证文献】
中国博士学位论文全文数据库 前2条
1 郭御风;面向多核微处理器芯片的高效能I/O体系结构及其实现技术[D];国防科学技术大学;2010年
2 赵天磊;微处理器Cache访问行为分析技术研究[D];国防科学技术大学;2011年
中国硕士学位论文全文数据库 前1条
1 董磊;实时操作系统中共享Cache划分技术的研究与应用[D];中国科学院研究生院(沈阳计算技术研究所);2012年
【相似文献】
中国期刊全文数据库 前10条
1 王霓虹;毕欣艳;王金刚;;基于Struts+Hibernate架构塔河森林资源管理系统[J];信息技术;2007年04期
2 罗予东;;支持商业计算的网格资源管理系统研究[J];计算机与现代化;2007年06期
3 冯伟江;;浅论项目资源管理系统的设计与开发[J];信息技术;2008年08期
4 魏伟;李艳玮;郑伟勇;;基于移动Agent动态自适应网格资源的管理模型[J];华东交通大学学报;2006年05期
5 ;工业标准化的HP ProLiant DL580 G7助力企业关键应用[J];中国金融电脑;2011年07期
6 王铁强;云红剑;林榕;;变电站计算机监控系统测评项目探讨[J];电力系统保护与控制;2009年16期
7 ;博通服务大中企业[J];每周电脑报;1999年25期
8 宣绚,程建钢,王学优;标准化基础教育资源库的研究与设计[J];电化教育研究;2003年04期
9 高新中;山西电力通信一体化资源管理系统的研究与应用[J];山西电力;2005年04期
10 陈建国,白阳;支持网络化制造的车间资源管理系统[J];机电工程技术;2005年09期
中国重要会议论文全文数据库 前10条
1 马浩云;;力求提高单缸柴油机产品活力的途径[A];2009海峡两岸机械科技论坛论文集[C];2009年
2 周真;马德仲;于晓洋;秦勇;张丽娜;;基于故障数据统计的电磁流量计失效模式分析[A];2009中国仪器仪表与测控技术大会论文集[C];2009年
3 包亦望;刘小根;邱岩;王秀芳;;真空玻璃结构功能一体化[A];2010全国玻璃技术交流研讨会论文集[C];2010年
4 田玲;申永革;;尿液化验制片机的反求研制[A];第一届全国流体动力及控制工程学术会议论文集(第二卷)[C];2000年
5 文礼;;动车组可靠性技术与维修[A];铁道科学技术新进展——铁道科学研究院五十五周年论文集[C];2005年
6 刘显鹏;;浅谈广播设备全寿命管理[A];2006全国广播电视发射技术论文集(1)[C];2006年
7 李铎;陈皓;杨科;;晶体振荡器的抗振设计[A];中国电子学会第十四届电子元件学术年会论文集[C];2006年
8 冯彦君;华更新;杨桦;周新发;范立明;;国外星载容错计算机技术及最新进展(综述)[A];全国第十二届空间及运动体控制技术学术会议论文集[C];2006年
9 ;中国电子学会可靠性分会[A];2007'第十二届全国可靠性物理学术讨论会论文集[C];2007年
10 廖超;来萍;李斌;崔晓英;路香香;;硅脉冲微波功率器件增益退化机理研究[A];2007'第十二届全国可靠性物理学术讨论会论文集[C];2007年
中国重要报纸全文数据库 前10条
1 王楠;企业信息化与资源管理系统——解读ERP[N];经理日报;2003年
2 大唐电信;下一代网络和业务转型中资源管理系统的建设[N];通信产业报;2008年
3 王楠;企业信息化与资源管理系统——解读ERP[N];经理日报;2003年
4 ;资源管理系统力助运营商转型[N];人民邮电;2005年
5 ;OSS升级再造过程中要注意的问题[N];人民邮电;2007年
6 通讯员 郭静 记者 王云鹤;武汉电信实现GIS线路资源管理[N];人民邮电;2008年
7 记者 关中;LRP2000检测与校准实验室资源管理系统通过专家鉴定[N];中国国门时报(中国出入境检验疫报);2000年
8 侯平 宋海燕;“数字渝烟”顺利通过国家局评审验收[N];经理日报;2006年
9 刘喜喜;IT资源管理过不去的坎[N];中国计算机报;2006年
10 ;资源管理系统解决方案[N];人民邮电;2006年
中国博士学位论文全文数据库 前10条
1 卢宇彤;面向高效能计算的大规模资源管理技术研究与实现[D];国防科学技术大学;2009年
2 王之元;并行计算可扩展性分析与优化[D];国防科学技术大学;2011年
3 林予松;大规模网络环境下的组播通信技术研究[D];解放军信息工程大学;2005年
4 戴锦友;电信级以太网的传送技术和资源优化管理算法研究[D];华中科技大学;2009年
5 张帆;4G无线网格大容量高可靠核心技术研究[D];华中科技大学;2005年
6 陈军;分布式存储环境下并行计算可扩展性的研究与应用[D];中国人民解放军国防科学技术大学;2000年
7 王金凤;煤矿生产物流系统研究[D];天津大学;2005年
8 张帆;面向公路交通的无线传感器网络节能关键技术研究[D];武汉理工大学;2011年
9 周伯生;移动自组网络中可扩展性路由策略研究[D];东南大学;2003年
10 孔华锋;基于主动网络技术的存储网络关键技术的研究[D];华中科技大学;2004年
中国硕士学位论文全文数据库 前10条
1 赵景宏;辽宁电力通信网资源管理系统的研究与实现[D];华北电力大学(河北);2010年
2 舒星;磁盘阵列在线重建与RAID5扩容的设计与实现[D];华中科技大学;2007年
3 单振清;网络环境中学习资源管理系统的设计与实现[D];山东大学;2010年
4 张含章;网格的资源调度与管理[D];吉林大学;2005年
5 孙志军;本地网资源管理系统研究与开发[D];哈尔滨工程大学;2003年
6 宁晓波;基于J2EE架构的资源管理系统的实现[D];南京理工大学;2004年
7 周金凤;基于CELTS标准的教育资源管理系统的设计与开发[D];华中师范大学;2005年
8 刘淑音;基于校园网的网格资源管理系统模型研究[D];北京化工大学;2005年
9 李冰;基于SOA的教育资源管理系统的整合设计与实现[D];内蒙古大学;2011年
10 李志晖;广州市本地传输网资源管理系统的研究与开发[D];广东工业大学;2003年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026