收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于时空信息云平台的空间大数据管理和高性能计算研究

宋炜炜  
【摘要】:地理空间科学研究和应用的发展常常伴随计算机信息技术的发展而取得巨大进步,同时,本学科的发展也向计算机信息技术提出了挑战。随着全球互联网迅速普及、传感器技术、对地观测技术的发展,地理空间科学发展进入了新的阶段,空间信息服务从数字地球向智慧地球转变,对传统的计算机技术提出了数据密集、计算密集、高并发访问及时空密集的挑战,传统的地理信息公共服务平台已不能适应智慧城市建设的要求。另一方面,计算机信息技术已进入云计算和大数据时代,新的计算模式和技术为解决地理空间科学发展中遇到的问题提供了新的解决方向。时空信息云平台是空间云计算的具体实现,它是智慧城市建设中的一个重要部分。本文以智慧城市时空信息云平台建设为研究背景,通过空间云计算技术解决地理空间科学研究向信息技术提出的4个挑战,围绕空间大数据的存储管理、高性能空间计算和时空信息云平台构建关键技术等展开了相关研究。论文主要研究内容及创新点如下:(1)时空信息云平台框架体系a)云计算框架及相关概念:研究了云计算的基本概念,云计算服务方式和分类:包括公有云、私有云、社区云和混合云四种服务方式。对目前云计算的基础设施即服务层(IaaS)、平台即服务层(PaaS)和软件即服务层(SaaS)进行了详细的论述。b)空间云计算:研究了空间云计算的概念,空间云计算与常用云计算框架的区别及特征,特别是专用于空间数据服务和处理的数据即服务层(DaaS)。然后详细论述了空间云计算技术在应对地理空间科学提出的数据密集、计算密集、高并发访问及时空密集问题的解决方案。c)提出了一种基于空间云计算时空信息云平台的新框架体系,包括IaaS、DaaS、 PaaS、SaaS层以及通过时空规律优化的时空信息云平台资源调度的虚拟服务层。(2)时空信息云平台构建的几个关键技术时空信息云平台除了具有云计算的虚拟化技术、S0A、多租户等关键技术外,还有针对地理空间科学研究和应用特征的三大关键技术。a)基于时空的动态资源调度:研究了云计算中的虚拟化技术以及基于虚拟化平台的资源调度,并提出了在时空信息云平台中基于时空规律的资源调度框架和算法,通过构建空间云资源调度的时空四元组调度模型,提出了一种优化免疫克隆算法实现了多时空目标的优化调度算法。b)时空信息云平台的自动伸缩和负载均衡技术:研究了典型的负载均衡技术主要包括简单阈值规则、固化学习、排队理论等。选择按照简单阈值规则的自动伸缩和负载均衡技术作为时空信息云平台的处理机制,提出了基于时空规律的自动扩展和负载均衡策略模型,并实现了优化调度算法。c)地理空间科学中的服务链组合技术,对服务链遵循的OGC地理空间服务标准进行了讨论;详细研究了工作流技术以及工作流在云计算环境下的应用策略和模型;提出了在一种时空信息云平台服务链组合模式:集成动态计算资源的服务链组合,并基于时空原则对服务链进行优化。(3)基于时空信息云平台的空间大数据管理a)大数据概念及关键技术:研究了大数据的概念及大数据对IT信息技术所带来的挑战。处理大数据的关键技术,包括存储大数据的分布式文件系统、高效处理大数据的并行计算框架;研究了NoSQL关键技术和分类,详细讨论了HBase的架构,特点。b)空间大数据:与传统的互联网大数据相比,空间大数据具有更明显的多源异构、多时空属性、多维和分布性的特征。c)基于时空信息云平台的DaaS服务:提出了一种时空信息云平台的DaaS架构,采用HDFS+HBASE+RDBMS的混合存储结构,为空间大数据提供存储服务能力。d)讨论了空间数据存储的概念模型,并研究不同用途的栅格数据和矢量数据在DaaS中的储存管理机制。e) PMMI:提出在时空信息云平台中,空间大数据存储管理和访问的多时空索引优化调度机制(Predefined multiple indices mechanism,PMMI)。(4)基于时空信息云平台的高性能空间计算研究a)高性能计算:研究了传统的高性能计算技术,在超级计算机发展的同时,云计算的发展推动了计算模式的演进。b)研究了云计算环境下的高性能计算,讨论了时空信息云平台高性能计算云在虚拟化平、云管理软件、存储管理。提出了一个时空信息云平台和Hadoop集群共同组成高性能空间计算服务框架,使得Hadoop集群利用云平台的动态扩展性获得更好的扩展能力。c)基于时空信息云平台构建了用于地理国情高性能统计应用,设计实现了一个高性能地理统计分析系统Hadoop-Geostatistics GIS,实现了多种空间统计指标的计算流程和MapReduce算法,并通过实验验证了比传统的单机模式具有明显的性能提升,并可横向扩展。(5)时空信息云平台原型系统基于本文的研究成果构建了一个时空信息云平台原型系统SCCP (spatiotemporal cloud computing platform)。包括了IaaS、DaaS、PaaS和SaaS的详细设计,本文在原型系统中实现了时空信息云平台的框架设计及各服务层的详细设计实现,通过原型系统验证了本文部分的研究内容。


知网文化
【相似文献】
中国期刊全文数据库 前18条
1 胡晓斌;;时空信息系统(英文)[J];科技信息;2009年33期
2 黄勇奇;邓高燕;;基于地理本体的地理时空信息表达研究[J];黄冈师范学院学报;2010年06期
3 刘钊;罗智德;张耀方;王园;;物流配送时空信息可视化方法改进[J];测绘科学技术学报;2014年02期
4 王海起;王劲峰;;时空信息多模式融合模型应用研究[J];武汉理工大学学报(交通科学与工程版);2008年04期
5 李天峻,阎君,李伯衡;遥感综合时空信息在土地利用动态监测中的应用概述[J];国土资源遥感;1997年02期
6 杜永刚;邢云鹏;;智慧太原时空信息云平台建设试点项目启动[J];新探索;2013年04期
7 陈述彭;《中国近期土地利用变化的遥感时空信息研究》导读[J];国土资源科技管理;2004年06期
8 李金良;张雪英;樊晓春;;汉语地名时空信息的一体化表达[J];地理与地理信息科学;2010年06期
9 高淑虹;杨立晖;;太原市召开智慧城市时空信息云平台建设设计方案讨论会[J];新探索;2013年02期
10 赵追;黄勇奇;;基于地理本体和SWRL的地理时空信息与时空推理规则表达[J];安徽农业科学;2009年03期
11 赵倩;张沛;;“智慧太原”时空信息云平台建设试点项目评审暨三方合作共建座谈会在太原举行[J];经纬天地;2014年02期
12 苏奋振,周成虎,季民,邵全琴,杜云艳;面向海洋渔业决策支持的信息综合协调研究[J];计算机工程与应用;2004年17期
13 朱丽影;;GIS时空信息的表达[J];才智;2009年18期
14 余先川,侯景儒,程晓春,彭望琭,俞晨;时空信息统计学的一些基本理论和方法[J];北京师范大学学报(自然科学版);2003年03期
15 魏毅;杨焕明;;基于遥感与GIS的新疆LUCC变化的时空信息研究及分析[J];环境科学与管理;2008年06期
16 王珊珊;季民;胡瑞林;;基于版本—增量的矿区地面沉降时空信息集成表达[J];地理与地理信息科学;2012年04期
17 王治先,应其明;流动的可视化法和图象摄取应用[J];高速摄影与光子学;1987年03期
18 ;[J];;年期
中国重要会议论文全文数据库 前3条
1 李景镇;龚向东;田洁;;极高速过程时空信息的多维测量技术研究[A];第十届全国光学测试学术讨论会论文(摘要集)[C];2004年
2 俞国民;;对建立全国海区差分GPS导航网的设想[A];中国航海学会优秀论文文摘及学术会议论文目次汇编(1990—1991)[C];1992年
3 王珊珊;季民;胡瑞林;;基于版本—增量的矿区地面沉降时空信息集成表达[A];中国科学院地质与地球物理研究所2012年度(第12届)学术论文汇编——工程地质与水资源研究室[C];2013年
中国博士学位论文全文数据库 前2条
1 宋炜炜;基于时空信息云平台的空间大数据管理和高性能计算研究[D];昆明理工大学;2015年
2 李玉明;两种运动方式下的客体对应及客体文件中存储的信息类型[D];浙江大学;2013年
中国硕士学位论文全文数据库 前3条
1 韩晓华;时空信息统计学方法及其在地表水评价中的应用[D];吉林大学;2007年
2 伊怀锋;综合时空信息的视频序列中运动目标分割算法[D];苏州大学;2006年
3 梁志妹;基于多Agent、复杂网络与GIS的甲型H1N1流感传播仿真平台研究[D];云南师范大学;2011年
中国重要报纸全文数据库 前5条
1 记者 王玉玲 杜永刚 通讯员 邢云鹏;智慧太原时空信息云平台建设启动[N];中国测绘报;2013年
2 张惠;郑州筹建时空信息云平台[N];中国信息化周报;2014年
3 詹辛;NewMap新版发布 助力智慧城市提速[N];中国测绘报;2013年
4 记者 喻贵银;国家局印发智慧城市 建设试点技术指南[N];中国测绘报;2013年
5 詹辛;厚积薄发新图亮剑 凝心聚力智慧升级[N];中国测绘报;2013年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978