收藏本站
《武汉大学》 2005年
收藏 | 手机打开
二维码
手机客户端打开本文

面向空间数据处理的集群作业管理系统研究与设计

靳华中  
【摘要】:Linux集群系统已成为最流行的高性能计算平台之一,在高性能计算机中占有的比例越来越大,为空间信息的并行处理和分布式计算带来了契机和挑战。空间数据的超大容量、分布广泛性、类型多样性等特点,和对空间数据处理时带来的动态的、非线性的、时间和空间多尺度等综合问题,为网络环境下分析和处理空间数据带来了计算复杂性。那么如何使集群系统具有强大的计算能力和高吞吐率,是系统管理员和程序员共同考虑的问题。经验表明,定制一个高效的任务调度机制是必不可少的,它的实现远低于开发并行算法的复杂程度。作业管理系统是实现作业调度和管理的集群子系统。为集群系统设计面向空间数据处理的作业管理系统,就是针对GIS应用领域中用户特定需求和作业负载特点,定制相应的调度算法,进一步优化集群系统各种计算资源(如CPU、内存、硬盘、网络带宽和应用程序等),加快处理和分析空间数据的响应速度,提高系统在GIS应用方面的整体性能。 作业管理系统通常由资源管理系统和作业调度系统两个子系统组成。资源管理系统收集集群系统中各种资源的属性和状态、所有用户提交的请求并执行作业。作业调度系统根据这些数据和指定的调度策略生成队列优先级列表。资源管理系统根据这个队列优先级列表执行作业。这样,作业管理系统可以控制站点,并将站点任务策略映射到调度行为上,极大地改善集群的运行效率。由此可见,怎样为集群系统选择一个作业管理系统以及针对空间数据应用怎样定制调度算法,是面向空间数据处理的集群作业管理系统的关键所在。 本文以通用批处理系统PBS为原型,在剖析PBS系统结构的基础上,把资源管理器Torque和作业调度器Maui进行集成,作为进行GIS高性能应用的作业管理平台。在论述空间数据及应用特点基础上,选用基于回填算法的综合算法作为处理空间数据的调度算法。文章最后对面向空间数据的原型系统进行设计和实现,在测试中验证了,这种方法的可行性——既可以不让粗粒度作业等待,又不影响细粒度作业执行的效率,从而提高集群处理空间数据的整体性能。
【学位授予单位】:武汉大学
【学位级别】:硕士
【学位授予年份】:2005
【分类号】:P208

免费申请
【相似文献】
中国期刊全文数据库 前10条
1 王易志;;内通集群调度系统的分析及应用[J];科技资讯;2011年22期
2 史园莉;李海涛;宋朝达;韩颜顺;;一种基于通用模型的遥感影像并行处理算法——以PCA融合为例[J];遥感信息;2011年03期
3 林耀立;;试论基于对象存储的新型网络GIS体系[J];信息与电脑(理论版);2011年06期
4 王光旭;彭朝晖;王鲁军;;宽带RAM模型在对称多处理器集群上的并行设计[J];声学技术;2011年03期
5 赵艳芳;蒋云起;;Web服务器负载均衡会话保持的研究[J];云南民族大学学报(自然科学版);2011年04期
6 张吉良;陈德宗;;服务器集群环境下Hibernate使用问题和解决方案[J];科技资讯;2011年23期
7 李大卫;;基于动态规划的序列比对的并行算法研究[J];井冈山大学学报(自然科学版);2011年03期
8 孙晓波;张玉东;栾奎志;;浅谈林业产业集群的组织生态系统[J];黑龙江科技信息;2011年22期
9 刘萍;李永昆;;具脉冲效应和反馈控制的企业集群竞争模型的持久性分析[J];经济数学;2011年02期
10 ;[J];;年期
中国重要会议论文全文数据库 前10条
1 王坚;;基于UNIX的集群系统的比较[A];面向21世纪的科技进步与社会经济发展(上册)[C];1999年
2 王长生;;重庆集群移动通信的发展对策与展望[A];四川省通信学会一九九三年学术年会论文集[C];1993年
3 白玎玲;王文春;朱煜;;浅谈高性能集群系统的管理与应用[A];2011年中国气象学会气象通信与信息技术委员会暨国家气象信息中心科技年会论文摘要[C];2011年
4 姜彤艳;罗四维;王金亭;;集群系统的建模及其可靠性分析[A];第六届中国青年运筹与管理学者大会论文集[C];2004年
5 刘越东;张玉;梁昌洪;;MPI并行FDTD性能与应用研究[A];2005'全国微波毫米波会议论文集(第一册)[C];2006年
6 汪黎;章文嵩;杨学军;;Cfslight:一个新型的轻量级对象存储集群文件系统[A];2006年全国开放式分布与并行计算学术会议论文集(一)[C];2006年
7 贺淑云;;大型集群系统开发与应用[A];中国地球物理学会第二十三届年会论文集[C];2007年
8 卓海彬;李睿;;浅谈高可用的、负载均衡的集群技术在银行业中的应用[A];四川省通信学会2006年学术年会论文集(一)[C];2006年
9 卓海彬;李睿;;高可用的、负载均衡的集群技术在邮政储蓄银行业中的应用[A];海南省通信学会学术年会论文集(2006)[C];2006年
10 隋翠翠;晏海华;;一种基于高性能集群计算系统的检查点策略[A];2008年全国开放式分布与并行计算机学术会议论文集(下册)[C];2008年
中国重要报纸全文数据库 前10条
1 朱方平;SPN—09集群系统新技术[N];通信产业报;2001年
2 中国海洋研究中心 张宏;优秀集群系统应具备怎样的条件[N];科技日报;2001年
3 ;低成本集群系统的强音[N];网络世界;2005年
4 胡;掌中无限低成本IP集群[N];计算机世界;2006年
5 记者 王皓;第1000套曙光高性能集群系统付运[N];计算机世界;2003年
6 中国软件评测中心;任务分发管理更轻松[N];中国计算机报;2002年
7 ;突破高性能集群系统的瓶颈[N];中国计算机报;2000年
8 ;解决高性能集群系统的瓶颈[N];网络世界;2001年
9 本报记者 姜波;“群”霸天下[N];网络世界;2002年
10 ;“群”星璀璨[N];网络世界;2002年
中国博士学位论文全文数据库 前10条
1 卓居超;时移电视集群系统缓存调度研究[D];中国科学技术大学;2010年
2 唐渊;大规模集群系统的性能评价与通信优化研究[D];中国科学院研究生院(软件研究所);2004年
3 王继刚;高可用集群系统中回卷恢复容错技术研究[D];哈尔滨工程大学;2006年
4 李德华;面向三维显示的海量地形数据管理及实时交互技术研究[D];华中科技大学;2006年
5 蒋江;异构集群系统中基于进程迁移机制的负载平衡算法的研究[D];国防科学技术大学;2002年
6 李靖;流媒体服务系统中接入控制与缓存策略的研究[D];中国科学技术大学;2009年
7 曹国强;基于并行计算技术的离心式叶片泵流场数值模拟及三维设计软件开发[D];辽宁工程技术大学;2005年
8 龚卫华;数据库集群系统的关键技术研究[D];华中科技大学;2006年
9 李勇;基于循环经济的企业集群生态化研究[D];河海大学;2006年
10 朱晓敏;异构集群系统中实时任务若干调度问题研究[D];复旦大学;2009年
中国硕士学位论文全文数据库 前10条
1 靳华中;面向空间数据处理的集群作业管理系统研究与设计[D];武汉大学;2005年
2 李佳;MPICH并行集群系统的建立及其在大规模计算化学中的应用研究[D];重庆大学;2004年
3 武星燕;Linux集群的进程迁移技术研究[D];哈尔滨工程大学;2008年
4 迟忠惠;基于进程迁移的负载均衡算法的研究[D];中国海洋大学;2005年
5 薛瑞尼;面向集群系统的MPI并行程序容错技术研究[D];清华大学;2005年
6 何入海;基于Linux的集群系统的研究与实现[D];重庆大学;2002年
7 李宪武;基于Linux集群系统负载均衡的研究和实现[D];西安电子科技大学;2008年
8 王兰;集群系统的自动化测试技术的研究与实现[D];西安电子科技大学;2008年
9 向文;集群管理系统的研究与设计[D];辽宁师范大学;2008年
10 朱华;基于J2EE的配置服务在集群系统中的应用与研究[D];中南大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026