收藏本站
《国防科学技术大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

GRAPES高分辨率气象数值预报模式并行计算关键技术研究

伍湘君  
【摘要】:建立高分辨率精细数值天气预报模式是大气科学研究和数值天气预报模式业务发展的主流方向。随着高性能计算机计算能力的提高,高性能计算机规模不断扩大。面对峰值性能达到每秒千万亿次的高性能计算机系统,数值天气预报模式能否充分利用计算平台所提供的计算能力,解决其庞杂的科学计算问题和海量数据处理问题,取决于数值模式的并行计算方案和并行实现方法,特别是其核心算法的计算效率。 以我国自主研发的新一代研究/业务数值天气预报系统GRAPES(Global/Regional Assimilation and PrEdiction System)的模式系统为基础,本文深入分析了GRAPES模式的科学计算原理,探讨了影响GRAPES模式并行计算效率的主要因素,设计了GRAPES分层软件框架结构和并行计算方案,建立了GRAPES模式的并行计算系统,并针对其中影响并行计算效率的关键问题提出了优化方案,重点研究了针对拉格朗日插值计算的并行实现方法,研究了GRAPES模式关键计算Helmholtz方程的高效求解算法,最后在天河-1A超级计算机上对GRAPES模式并行计算系统进行了一系列的测试分析。本文主要研究成果包括: 1、深入分析数值天气预报模式科学计算原理,揭示数据并行是数值天气预报模式并行计算的基本策略。由于模式数据流计算是随时间依次完成的,不同时间积分步之间数据流前后依赖,数值模式并行计算只能在一个积分步内进行。而同样由于数据相关性,数值模式并行计算通常采用数据并行方式,即采用将预报区域按照计算核数划分成块进行计算。 2、针对日益复杂的数值模式系统,分析指出数值天气预报软件系统必须采用软件工程方法进行组织、管理,软件开发必须遵循软件规范要求,并结合高性能计算机体系结构特点,设计了GRAPES分层软件框架结构,建立了符合软件工程规范的并行编程接口函数库PPI,实现了GRAPES模式并行版本基本软件架构。 3、针对拉格朗日插值计算,分析了影响GRAPES全球模式并行计算实现的极地区域网格变量聚集问题,提出了以―供方‖为中心的并行计算方案(put-scheme),实现了以―需方‖为中心的并行计算方案(get-scheme),改进了任务分配算法。测试结果表明,两种方案均有效解决了极地网格聚集对拉格朗日上游点插值并行计算的影响。但从计算效率而言,―get-scheme‖方案更具优势:1)减少了极地区域的大内存需求;2)减少了极地区域数据通讯的盲目性;3)增加了低纬度地区上游点位移量的允许范围。因此,―get-scheme‖方案具有更好负载平衡性和并行可扩展性能。 4、针对GRAPES模式中占主要计算开销的Helmholtz方程的求解,实现了基于科学计算可移植扩展工具包(Portable Extensible Toolkit for Scientific Computation,即PETSc)和高层并行预条件函数库(high performance preconditions,即Hypre)的广义极小残量法(GMRES)求解算法。与目前GRAPES模式版本中使用的广义共轭余差法(GCR)方法相比,GMRES方法具有收敛速度快、迭代次数少、求解精度高、并行可扩展性能好等特点。对于高分辨率精细模式,采用GRMES方法求解Helmholtz方程大大减少了GRAPES模式的计算开销,显著提高了GRAPES模式在大规模并行计算机上的运行效率。 5、通过对不同收敛精度Helmholtz方程求解的理想试验、实际资料绝热模式以及全物理过程多方面测试,揭示了GRAPES模式动力框架计算精度被物理过程计算精度所掩盖的问题。模式计算精度是整个动力框架计算和物理过程计算的综合结果,积分计算中每个过程的计算偏差都会在一定程度上反映到预报结果的偏差上,因此提高模式计算精度必须从模式计算的多个方面入手。 6、针对GRAPES核心算法,建立了IBM-cluster1600计算机上拉格朗日插值并行计算两种方法的并行通讯分析模型,以及Helmholtz方程两种求解方法的并行计算时间模型;通过IBM-cluster1600计算机上固定规模GRAPES模式可扩展性能测试,验证了GRAPES模式并行计算系统具有良好的并行可扩展性能。GRAPES模式在天河-1A超级计算机上的测试分析表明:1)GRAPES模式积分计算部分并行效率较高,并行计算保持了高可扩展性能,10天预报在2048个计算核上的计算效率接近90%;2)目前影响GRAPES模式并行可扩展性能的瓶颈一个是I/O操作,另一个就是如何将GRAPES模式更好应用于分层设计的计算机体系结构。 通过本文的研究,实现了具有良好可扩展性能的GRAPES模式并行计算系统。目前GRAPES并行模式系统已在国家气象中心业务运行(GRAPES区域模式业务运行,全球模式准业务运行),计算正确稳定,满足实时性业务要求。GRAPES模式并行计算系统的建立为GRAPES资料同化系统并行积累了经验,为GRAPES数值预报系统发展奠定了基础。
【学位授予单位】:国防科学技术大学
【学位级别】:博士
【学位授予年份】:2011
【分类号】:P456.7

手机知网App
【引证文献】
中国期刊全文数据库 前1条
1 蒋沁谷;金之雁;;GRAPES全球模式MPI与OpenMP混合并行方案[J];应用气象学报;2014年05期
中国硕士学位论文全文数据库 前1条
1 蒋沁谷;GRAPES全球模式MPI+OpenMP混合并行方法[D];中国气象科学研究院;2014年
【参考文献】
中国期刊全文数据库 前10条
1 曾庆存;我国大气动力学和数值天气预报研究工作的进展[J];大气科学;1979年03期
2 陶诗言,赵思雄,周晓平,纪立人,孙淑清,高守亭,张庆云;天气学和天气预报的研究进展[J];大气科学;2003年04期
3 穆穆,季仲贞,王斌,李扬;地球流体力学的研究与进展[J];大气科学;2003年04期
4 左瑞亭,张铭,张东凌,王爱慧,曾庆存;21层大气环流模式IAP AGCM-III的设计及气候数值模拟I.动力框架[J];大气科学;2004年05期
5 纪立人,陈嘉滨,张道民,汪厚君;数值预报模式动力框架发展的若干问题综述[J];大气科学;2005年01期
6 张贺;林朝晖;曾庆存;;IAP AGCM-4动力框架的积分方案及模式检验[J];大气科学;2009年06期
7 周秀骥,吴国雄,郑国光,符淙斌,徐祥德;中国气象科学技术发展战略研究[J];地球科学进展;2005年03期
8 丑纪范;天气数值预报中使用过去资料的问题[J];中国科学;1974年06期
9 杨学胜;陈嘉滨;胡江林;陈德辉;沈学顺;张红亮;;全球非静力半隐式半拉格朗日模式及其极区离散处理[J];中国科学(D辑:地球科学);2007年09期
10 陈军,莫则尧,李晓梅,袁国兴;大规模并行应用程序的可扩展性研究[J];计算机研究与发展;2000年11期
中国重要会议论文全文数据库 前1条
1 王业桂;宋君强;;全球中期数值天气预报模式的并行计算[A];面向21世纪的科技进步与社会经济发展(上册)[C];1999年
中国博士学位论文全文数据库 前6条
1 吴建平;稀疏线性代数方程组迭代法中的预处理技术研究[D];中国人民解放军国防科学技术大学;2002年
2 张理论;面向气象预报数值模式的高效并行计算研究[D];中国人民解放军国防科学技术大学;2002年
3 胡江林;高分辨率数值模式气压梯度力算法研究[D];南京信息工程大学;2007年
4 张卫民;气象资料变分同化的研究与并行计算实现[D];国防科学技术大学;2005年
5 赵军;数值天气预报资料同化关键技术及并行计算研究[D];国防科学技术大学;2007年
6 陈永然;面向高性能计算的性能评价模型技术研究[D];国防科学技术大学;2007年
【共引文献】
中国期刊全文数据库 前10条
1 陈靖;李刚;王根;;一个基于视场的AIRS云检测方案[J];安徽农业科学;2010年07期
2 路爽;廖国进;侯亚红;;一次沈阳区域暴雨天气分析[J];安徽农业科学;2010年09期
3 李鹏;;一次梅雨锋暴雨过程中陆面影响的数值模拟研究[J];安徽农业科学;2012年01期
4 王恒娜;访问局部性原理在Cache系统优化及设计中的应用[J];安徽师范大学学报(自然科学版);2004年04期
5 范佳林;梁秀清;;土壤墒情自动化监测及应用[J];现代农业科技;2010年07期
6 ;Characteristics of a Terrain-Following Sigma Coordinate[J];Atmospheric and Oceanic Science Letters;2011年03期
7 章文,罗清磊,李璟;机群的可扩展性研究[J];安庆师范学院学报(自然科学版);2003年01期
8 宋静,姚晟;计算机性能评价与测试的主观误区研究[J];安庆师范学院学报(自然科学版);2005年01期
9 汤伟;黄永灿;;单芯片多处理器中Cache一致性的分析[J];安阳师范学院学报;2009年02期
10 郑国平;朱合华;;基于二分法的多竖井送排式通风方式数值解析[J];地下空间与工程学报;2007年05期
中国重要会议论文全文数据库 前10条
1 孙丞虎;李维京;;一种模式气候吸引子约束下的初值协调方法及其在ENSO预测业务中的应用[A];2012北京气象学会中青年优秀论文评选论文集[C];2012年
2 张爱英;丁德平;李迅;尹志聪;韩超;;相似离度在北京市道面结冰预报中的初步应用[A];2012北京气象学会中青年优秀论文评选论文集[C];2012年
3 王青平;白武明;王洪亮;;多重网格在二维泊松方程有限元分析中的应用[A];中国科学院地质与地球物理研究所第11届(2011年度)学术年会论文集(上)[C];2012年
4 江爱朋;陈红;王春林;;基于非线性规划和混合求导的动态过程系统优化方法[A];第二十九届中国控制会议论文集[C];2010年
5 赵春燕;;GRAPES版本管理系统备份恢复机制研究与实现[A];2011年中国气象学会气象通信与信息技术委员会暨国家气象信息中心科技年会论文摘要[C];2011年
6 王勇;杨彬云;胡小刚;刘严萍;;基于GPS反演的可降水量与降水的对比分析研究[A];《测绘通报》测绘科学前沿技术论坛摘要集[C];2008年
7 陈勇;刘雄伟;;非线性铣削动力学仿真建模优化算法研究[A];福建省科协第四届学术年会提升福建制造业竞争力的战略思考专题学术年会论文集[C];2004年
8 许厚泽;柳林涛;王勇;黄应生;;利用GPS技术反演中国大陆2004年的水汽变化[A];第三届湖北省科技论坛气象分论坛暨2005年湖北省气象学会学术年会学术论文详细文摘汇集[C];2005年
9 包芸;刘欢;;流体力学在海洋科学中的发展史[A];第二届全国力学史与方法论学术研讨会论文集[C];2005年
10 周晓军;;一种基于PVM的二重网格并行Gauss-Seidel迭代算法[A];2006年全国开放式分布与并行计算机学术会议论文集(三)[C];2006年
中国博士学位论文全文数据库 前10条
1 张华;冲击荷载作用下岩石动态损伤特性研究[D];昆明理工大学;2009年
2 张建辉;节点势能导向多下一跳路由协议研究与性能评价[D];解放军信息工程大学;2009年
3 仲妍;大型稀疏线性方程组并行求解及预处理技术研究[D];国防科学技术大学;2010年
4 何义;流体系结构指令管理及系统虚拟化仿真技术研究[D];国防科学技术大学;2010年
5 张俊兵;基于波谱单元法的结构动力分析[D];华中科技大学;2011年
6 方维;面向数据通信优化的并行程序执行模型[D];中国科学技术大学;2011年
7 达朝究;一个可能提高GRAPES模式业务预报能力的方案[D];兰州大学;2011年
8 刘洋;非标准混合元方法分析及数值模拟[D];内蒙古大学;2011年
9 黄静华;支持向量机算法研究及在气象数据挖掘中的应用[D];中国矿业大学(北京);2011年
10 李月卉;电磁场数值求解中迭代方法与预条件技术研究[D];电子科技大学;2011年
中国硕士学位论文全文数据库 前10条
1 王华;公路三维数学模型的建立与仿真实现[D];郑州大学;2010年
2 李秀芳;基于多核的多线程算法并行优化[D];郑州大学;2010年
3 王楠;胶囊机器人转弯动力学特性研究[D];大连理工大学;2010年
4 付可展;高铁安全监测系统的设计与开发[D];大连理工大学;2010年
5 王宗鹏;基于有限体积法的液滴撞击固体平壁数值模拟[D];大连理工大学;2010年
6 高和东;GPU并行计算在LSSVM建模中的研究与应用[D];大连理工大学;2010年
7 郜晓亚;水电站(群)长期优化调度多核并行算法与应用[D];大连理工大学;2010年
8 马文龙;水源井储量预估系统的研究与实现[D];辽宁工程技术大学;2009年
9 符芳芳;发展方程保辛和多辛结构数值格式[D];江西师范大学;2010年
10 董培军;高校科研管理系统的设计与实现[D];华东师范大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 樊志杰;赵文涛;;GRAPES四维变分同化系统MPI和OpenMP混合算法研究[J];计算机光盘软件与应用;2012年19期
2 杨学胜;陈嘉滨;胡江林;陈德辉;沈学顺;张红亮;;全球非静力半隐式半拉格朗日模式及其极区离散处理[J];中国科学(D辑:地球科学);2007年09期
3 郑芳;许先斌;向冬冬;王卓薇;徐鸣;;基于GPU的GRAPES数值预报系统中RRTM模块的并行化研究[J];计算机科学;2012年S1期
4 张昕,季仲贞,王斌;OpenMP在MM5中尺度模式中的应用试验[J];气候与环境研究;2001年01期
5 刘宇;曹建文;;适用于GRAPES数值天气预报软件的ILU预条件子[J];计算机工程与设计;2008年03期
6 朱政慧;一个数值天气预报模式的并行混合编程模型及其应用[J];数值计算与计算机应用;2005年03期
7 冯云;周淑秋;;MPI+OpenMP混合并行编程模型应用研究[J];计算机系统应用;2006年02期
8 朱政慧,施培量,颜宏;用OpenMP并行化气象预报模式试验[J];应用气象学报;2002年01期
9 朱政慧,闫之辉;并行高分辨率有限区预报系统在IBM SP上的建立[J];应用气象学报;2003年01期
10 陈德辉;沈学顺;;新一代数值预报系统GRAPES研究进展[J];应用气象学报;2006年06期
【二级参考文献】
中国期刊全文数据库 前10条
1 韩庆书,王唯;求解二维 Navier-Stokes 方程的谱元法[J];北京联合大学学报;1998年S1期
2 曾庆存 ,卢佩生 ,李荣凤 ,袁重光;EVOLUTION OF LARGE SCALE DISTURBANCES AND THEIR INTERACTION WITH MEAN FLOW IN A ROTATING BAROTROPIC ATMOSPHERE——PART Ⅰ[J];Advances in Atmospheric Sciences;1986年01期
3 曾庆存;Variational Principle of Instability of Atmospheric Motions[J];Advances in Atmospheric Sciences;1989年02期
4 张学洪,粱信忠;Comparison and Examination of Dynamic Frameworks of IAP and OSU AGCM[J];Advances in Atmospheric Sciences;1989年03期
5 张学洪;Dynamical Framework of IAP Nine-Level Atmospheric General Circulation Model[J];Advances in Atmospheric Sciences;1990年01期
6 宇如聪;A Two-Step Shape-Preserving Advection Scheme[J];Advances in Atmospheric Sciences;1994年04期
7 宇如聪;Application of a Shape-Preserving Advection Scheme to the Moisture Equation in an E-grid Regional Forecast Model[J];Advances in Atmospheric Sciences;1995年01期
8 赵力,赵思雄;Numerical Experiments of Meiyu(Baiu) Rainfall by Quasi-Lagrangian Limited Area Model with Terrain[J];Advances in Atmospheric Sciences;1995年01期
9 梁信忠;Description of A Nine-Level Grid Point Atmospheric General Circulation Model[J];Advances in Atmospheric Sciences;1996年03期
10 孙淑清,应明;Subtropical High Anomalies over the Western Pacific and Its Relations to the Asian Monsoon and SST Anomaly[J];Advances in Atmospheric Sciences;1999年04期
中国博士学位论文全文数据库 前3条
1 吴建平;稀疏线性代数方程组迭代法中的预处理技术研究[D];中国人民解放军国防科学技术大学;2002年
2 陈军;分布式存储环境下并行计算可扩展性的研究与应用[D];中国人民解放军国防科学技术大学;2000年
3 骆志刚;典型结构大型线性方程组的分布式并行算法研究[D];中国人民解放军国防科学技术大学;2000年
【相似文献】
中国期刊全文数据库 前10条
1 王福军,程建钢,姚振汉;结构非线性动力分析显式积分并行算法[J];清华大学学报(自然科学版);2002年04期
2 冯诗齐;用并行计算构建一个虚拟太空[J];世界科学;2002年10期
3 苑明哲,于海斌,周悦;流水线型并行控制器[J];控制理论与应用;2004年04期
4 于方;;基于LINUX平台的PC机群并行环境的构建与应用[J];阴山学刊(自然科学版);2007年04期
5 刘巧英;乔玉兰;孙玉强;;并行技术领域中调度算法研究[J];中国科技信息;2009年05期
6 徐晓飞;曹祥玉;姚旭;陈盼;;一种基于Doolittle LU分解的线性方程组并行求解方法[J];电子与信息学报;2010年08期
7 费景高;并行显式Runge-Kutta公式的实现[J];计算机工程与设计;1994年05期
8 李强,邹经湘,黄文虎;结构动响应的并行算法[J];工程力学;1999年03期
9 胖质玲,赵芳;电力系统并行计算的实现[J];山东科技大学学报(自然科学版);1999年04期
10 朱小谦,张卫民,宋君强;天气预报有限差分格点模式并行计算研究[J];计算机工程与科学;2004年04期
中国重要会议论文全文数据库 前10条
1 范晓樯;李桦;田正雨;;超声速/高超声速飞行器复杂流场大规模并行数值仿真[A];计算流体力学研究进展——第十二届全国计算流体力学会议论文集[C];2004年
2 齐进;叶文华;;三维激光烧蚀瑞利-泰勒不稳定性并行计算[A];中国空气动力学学会第十届物理气体动力学专业委员会会议论文集[C];2001年
3 张望;王辉;;个性化服务中的并行K-Means聚类算法[A];2007年全国开放式分布与并行计算机学术会议论文集(下册)[C];2007年
4 丛鹏;;MPI并行计算实现工业CT图像重建[A];2004年CT和三维成像学术年会论文集[C];2004年
5 丁国昊;罗凯;李伟;李桦;;乘波飞行器气动特性数值模拟与并行计算[A];第三届高超声速科技学术会议会议文集[C];2010年
6 罗文彩;陈小前;;并行计算的多方法优化协作[A];第二十四届中国控制会议论文集(上册)[C];2005年
7 耿江东;薛正辉;高本庆;;应用并行GTD算法计算阵列天线近场受扰[A];第17届全国电磁兼容学术会议论文集[C];2007年
8 唐维军;张景琳;蔚喜军;;三维流体界面不稳定性的并行计算[A];中国工程物理研究院科技年报(2000)[C];2000年
9 左风丽;莫则尧;叶文华;;计算流体三维分裂格式的高效并行计算[A];中国工程物理研究院科技年报(2003)[C];2003年
10 杜志文;曾文华;;网格计算在文本分类中的应用[A];2006年全国开放式分布与并行计算机学术会议论文集(三)[C];2006年
中国重要报纸全文数据库 前10条
1 轶嘉;英特尔全球首个并行计算中心落户无锡[N];人民邮电;2009年
2 江锡民;英特尔并行计算中心落户无锡[N];新华日报;2009年
3 刘琦;伯克利专家展望未来并行计算[N];中国计算机报;2008年
4 均儿;通用计算核动力[N];电脑报;2009年
5 本报记者 马文方;英特尔为何要牵头并行计算[N];中国计算机报;2009年
6 英特尔并行计算实验室研究员 TimothyMattson;并行计算:减少串行软件[N];中国计算机报;2007年
7 英特尔 赵军(Jun Zhao);PC机并行计算革命尚未成功[N];中国计算机报;2009年
8 ;并行计算成PC产业发展瓶颈[N];人民邮电;2008年
9 刘霞;计算能力的提升需要一场革命[N];科技日报;2010年
10 张云泉;并行计算:迎接多核时代的挑战[N];计算机世界;2006年
中国博士学位论文全文数据库 前10条
1 陈军;分布式存储环境下并行计算可扩展性的研究与应用[D];中国人民解放军国防科学技术大学;2000年
2 尹欣;三维弹性问题边界元法并行计算及其工程应用[D];清华大学;2000年
3 陈晓春;基于并行计算的大涡模拟方法及其工程应用基础研究[D];西安建筑科技大学;2004年
4 王开健;基于特大增量步算法的网络并行计算[D];清华大学;2005年
5 张理论;面向气象预报数值模式的高效并行计算研究[D];中国人民解放军国防科学技术大学;2002年
6 寇哲君;可扩展冲击—接触并行计算及其在汽车碰撞模拟中的应用[D];清华大学;2003年
7 刘丽;人工免疫网络研究及应用[D];江南大学;2008年
8 蔡勇;基于GPU的车身结构接触碰撞过程并行计算方法[D];湖南大学;2013年
9 张永彬;岩石破裂过程分析并行计算方法研究[D];东北大学;2007年
10 姚路;图分割算法及其在大规模数值并行计算中的应用研究[D];国防科学技术大学;2013年
中国硕士学位论文全文数据库 前10条
1 刘战合;基于复合形方法的翼型优化设计及并行计算研究[D];西北工业大学;2004年
2 金光浩;有向图并行计算中的多目标剖分算法[D];中国工程物理研究院;2005年
3 岳常智;135四气门直喷式柴油机工作过程数值计算[D];大连理工大学;2006年
4 曹大勇;O_2在MgO(100)表面吸附的第一原理分子动力学研究[D];大连理工大学;2004年
5 叶敏娇;Manticore体系结构设计[D];浙江大学;2006年
6 赵玉林;H.26L视频编码器并行性算法研究与实现[D];西南交通大学;2003年
7 吴颖;一种基于LINUX的集群计算系统的设计与实现[D];四川大学;2005年
8 彭虹;分形视频图像压缩并行算法设计[D];福州大学;2006年
9 万婷婷;并行计算的网格应用研究[D];广东工业大学;2006年
10 朱丽莎;基于GPU的一维热传导算法研究[D];暨南大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026