收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

海量空间数据的分布式存储查询优化

杨超  
【摘要】:位置服务基于用户位置向用户提供各类实时服务,其既是一种重要的服务形态,也是现实世界中诸多应用的基础。诸如基于位置的智慧旅游推荐、面向限定时空域的城市公共服务推送、商圈消费群体精准实时定位等应用,首先需要快速查询出位置相关的空间区域对象,进而采用快速的相似匹配计算来实现信息的实时推荐与推送。位置相关的空间对象查询性能是保证实时性服务的重要影响因素。但空间对象的庞大规模和多样化与查询的连续性、高负载、实时性形成了一对矛盾,在海量空间对象的存储和访问管理上提出了巨大挑战。本文即针对位置相关服务的实时性需求,在海量空间对象的存储与访问优化等方面展开深入研究。本文面向位置服务相关应用中的空间对象查询需求,针对空间对象的空间特征引入GeoHash地理编码系统,并充分开采分布式内存计算架构的性能优势,设计了综合键值对存储结构和列式存储模式的分布式存储模型以及空间对象范围查询模型。为进一步提升各类应用的实时性响应性能,本文基于分布式内存计算架构的大内存和多核特征,设计了分布式的多级索引结构,优化了大规模空间对象的访问性能,并从理论分析、实验验证两个维度充分证明了提出模型的有效性和高效性。具体研究内容与成果如下:首先,针对传统数据库和大数据计算平台的处理模式差异,设计了大规模密集型的实验来验证二者在不同应用和数据集上的性能表现。主要基于二者在处理架构、存储介质以及查询策略等方面的差异,分别设计实验对索引、内存、磁盘I/O等影响大规模数据处理性能的核心因素展开性能测评,进而基于性能表现综合分析各计算平台对不同任务的适用性,为后续的大规模数据计算平台选型和大规模数据的计算优化提供了事实依据。其次,针对海量空间对象的存储需求和实时性访问约束,综合分析了现有的分布式存储系统的优缺点,提出融合空间编码技术和多版本数据的海量空间数据存储模型。该模型采用GeoHash编码将二维空间对象转换为一维字符串键值,进而与键值对存储模式、列存储模式融合设计了新型的底层数据存储结构,能支持任意属性的空间对象存储和面向不同列族的查询优化。同时,基于空间对象编码提供的“空间相邻性、编码相似性”的特点,充分利用多版本数据的管理机制,提出了“高精度编码,低精度存储”的管理策略,并理论证明了编码精度和查询性能之间的影响关系。大量的实验结果也表明所提出模型对海量空间对象具有很好的存储可扩展性和查询性能。最后,为进一步提升海量空间对象的实时性查询响应,本文充分开采了分布式内存计算平台的性能优势,设计了基于分布式内存的海量空间对象存储模型和查询优化架构。在充分利用GeoHash编码与键值对存储模式的基础上,本文充分兼顾内存空间的随机访问特性和有效管理需求,设计了基于RDD结构的空间对象内存存储模型,进而融合列式存储的数据局部加载优势,优化了不同应用对数据的访问性能,从硬件性能开采和存储策略两个角度最大化提升了空间对象的查询性能。同时,基于分布式内存环境设计了常驻内存的字典树索引结构,实现了高效的分布式查询架构。大量的实验结果表明,该内存存储模型在保证数据存储可扩展性的基础上,面对不同的查询负载更好地满足了实时查询响应。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 汪荣峰;张志威;廖学军;;一种面向实时显示的海量空间数据存取技术[J];装备指挥技术学院学报;2008年05期
2 喻占武;郑胜;李忠民;胡滨;;基于对象存储的海量空间数据存储与管理[J];武汉大学学报(信息科学版);2008年05期
3 包文苑;;海量空间数据管理相关关键技术研究[J];科技资讯;2010年08期
4 刘纪平;海量空间数据组织与管理初探[J];中国图象图形学报;1998年06期
5 谭坤龙,傅炳荣,丁文源;基于数据库底层接口的海量空间数据快速操作方法[J];地矿测绘;2004年03期
6 陈再清;建立高效运行海量空间数据库的策略与方法[J];现代测绘;2004年05期
7 李慧玲;;海量空间数据组织及存储方案[J];电脑知识与技术;2010年29期
8 王泽根;海量空间数据组织及分布式解决方案[J];地球信息科学;2000年01期
9 赵相伟,许捍卫;海量空间数据组织研究与实践[J];江苏测绘;2002年04期
10 薛涛;刁明光;李建存;邹森忠;;资源环境遥感海量空间数据存储、检索和访问方法[J];国土资源遥感;2013年02期
11 王浩;喻占武;曾武;潘少明;;基于瓦片寿命和访问热度的海量空间数据缓存置换策略[J];武汉大学学报(信息科学版);2009年06期
12 何嘉珈;;矢栅数据一体化存储技术研究[J];科技资讯;2009年26期
13 戴海滨,秦勇,于剑,刘峰,周慧娟;铁路地理信息系统中海量空间数据组织及分布式解决方案[J];中国铁道科学;2004年05期
14 刘南,刘仁义,谢炯,冯杭建,李伟,余剑君,严志民;基于实体对象层次模型的海量空间数据管理[J];浙江大学学报(工学版);2004年11期
15 田原;GIS中海量空间数据存储[J];油气田地面工程;2005年05期
16 邓世军,孟令奎,吴沉寒,许林;基于SOAP的海量空间数据服务[J];地理空间信息;2005年05期
17 张莉;唐立文;;基于四叉树的海量空间数据无缝组织研究[J];计算机技术与发展;2011年01期
18 芮建勋;孙雅荣;;基于OLE开发TNGIS的关键技术[J];地球信息科学;2006年04期
19 黄文;王志敏;赖建宇;谢小红;;基于Gridmap的海量空间数据切片机制研究[J];国土资源信息化;2013年03期
20 ;中国科学院地理信息技术与产业发展论坛暨“SuperMap GIS技术研讨会”——北京超图海量空间数据管理技术取得重大突破[J];中国图象图形学报;2003年11期
中国重要会议论文全文数据库 前5条
1 陈再清;;建立高效运行海量空间数据库的策略与方法[A];首届长三角科技论坛数字区域建设与地理空间技术论坛优秀论文集[C];2004年
2 张冠军①②;韩刚;蒋捷;;MapXtreme环境中海量空间数据的动态搜索与调用方法[A];中国地理信息系统协会第九届年会论文集[C];2005年
3 许辉熙;何政伟;张新海;但尚铭;汪宙峰;;海量空间数据存储与网络发布初探[A];中国气象学会2006年年会“首届研究生年会”分会场论文集[C];2006年
4 郑冕;朱宝利;吴丽娟;;海量空间数据点边界的快速搜索算法[A];计算机技术与应用进展——全国第17届计算机科学与技术应用(CACIS)学术会议论文集(下册)[C];2006年
5 王良清;洪景峰;汪琼;;江浙海量空间数据库图形漫游速度分析[A];首届长三角科技论坛数字区域建设与地理空间技术论坛优秀论文集[C];2004年
中国博士学位论文全文数据库 前2条
1 涂振发;云计算环境下海量空间数据高效存储关键技术研究[D];武汉大学;2012年
2 郭明强;面向高性能计算的WebGIS模型关键技术研究[D];中国地质大学;2013年
中国硕士学位论文全文数据库 前10条
1 张广弟;分布式环境下海量空间数据的存储和并行查询技术研究[D];江西理工大学;2012年
2 何涛;面向海量空间数据并行高效处理的存储模式设计与研究[D];电子科技大学;2014年
3 李庆君;Hadoop架构下海量空间数据存储与管理[D];武汉大学;2017年
4 杨超;海量空间数据的分布式存储查询优化[D];桂林电子科技大学;2017年
5 鲁新应;海量空间数据库管理技术及其在建设用地管理系统中的应用研究[D];浙江大学;2006年
6 汤杨华;三维GIS中海量空间数据可视化研究[D];长安大学;2009年
7 洪华军;基于开源框架的GIS设计与实现[D];江南大学;2011年
8 张红波;海量空间数据管理和分析系统及其在城市规划中应用[D];山东科技大学;2005年
9 韩银锋;基于PC集群矿山海量空间数据并行处理与可视化[D];东北大学;2008年
10 覃泽涛;面向Internet应用的海量空间数据的存储管理系统[D];西安电子科技大学;2005年
中国重要报纸全文数据库 前3条
1 本报记者 钟泉 通讯员 周欣;我市一科研新成果国内领先[N];湘潭日报;2008年
2 宁薇 张海涛;中地公司软件平台MAPGIS再为“神舟”护航[N];地质勘查导报;2008年
3 记者 吴宝成;中国科学院GIS产业化成果喜人[N];中国测绘报;2003年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978