收藏本站
《江西理工大学》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

基于HBase的矢量空间数据存取关键技术研究

张炫铤  
【摘要】:随着信息技术和空间信息获取技术的发展、全球信息化推进和GIS(地理信息系统)的广泛应用,空间数据高速增长。面对日益增长的海量空间数据,传统的空间数据管理方案面临高并发读写以及扩展性等等瓶颈。而云计算高扩展的存储能力以及强大的计算能力则可以满足海量数据存储、大数据并行处理、高并发检索等方面的需求。鉴于云计算技术的诸多优点,论文针对如何利用云计算技术实现对海量矢量空间数据的存取展开研究。重点对云平台下矢量空间数据的存储模型、空间索引构建、数据组织方案、数据的导入、空间查询策略以及在HBase上进行属性SQL查询等进行了研究与设计。论文围绕以下几个方面开展工作:(1)矢量空间数据云存储与检索研究背景介绍及相关理论技术分析。论文阐述了海量空间数据存储云存取的研究背景以及意义;分析了当前国内外云计算概况及空间数据云存取的研究现状以及当前研究的不足;结合Map Reduce并行计算框架特性深入分析了Map Reduce的矢量空间数据并行处理可行性,并探讨分布式数据库HBase以及SQL On Hadoop相关云计算技术存储和管理海量矢量空间数据的优势。(2)构建了基于HBase的矢量空间数据存储模型以及No SQL模型与关系模型一体化的矢量空间数据的管理方案。针对矢量空间数据的特点,结合HBase数据模型,设计了矢量空间数据存储模型,并采用四叉树层次剖分技术设计了多级格网索引;结合空间信息多级格网编码和Hilbert空间填充曲线的聚类特性,设计了符合HBase数据库Row Key存储规则的矢量空间数据标识编码;根据HBase数据库存储规则以及Phoenix操作结构化数据特性,提出并设计了No SQL模型与关系模型一体化的矢量空间数据的管理方案。(3)设计了矢量空间数据入库以及并行构建空间索引策略。结合Map Reduce并行处理特性讨论并设计了单机导入和基于Map Reduce并行处理矢量空间数据的入库方案以及基于Map Reduce设计了并行构建空间索引方案。(4)根据多级网格索引策略设计了空间查询策略。根据不同空间查询算子、多级网格索引特点以及HBase扫描查询数据特性,设计并实现了空间查询算子优化策略、合并网格编码优化查询策略以及限制扫描列簇优化数据过滤策略等三种空间查询优化策略。最后设计并实现了基于HBase的矢量空间数据存取原型系统,实现了网格索引以及多级网格索引,通过网格索引与多级网格索引空间查询效率对比实验,验证了多级网格索引的有效性。并基于多级网格索引,验证了空间查询算子优化策略、合并网格编码优化查询策略以及限制扫描列簇优化数据过滤策略等三种空间查询优化策略的有效性。
【学位授予单位】:江西理工大学
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:P208

【参考文献】
中国期刊全文数据库 前10条
1 吴黎兵;邱鑫;叶璐瑶;王晓栋;聂雷;;基于Hadoop的SQL查询引擎性能研究[J];华中师范大学学报(自然科学版);2016年02期
2 李德仁;;展望大数据时代的地球空间信息学[J];测绘学报;2016年04期
3 张叶;许国艳;花青;;基于HBase的矢量空间数据存储与访问优化[J];计算机应用;2015年11期
4 宋宝燕;王俊陆;王妍;;基于范德蒙码的HDFS优化存储策略研究[J];计算机学报;2015年09期
5 郑坤;付艳丽;;基于HBase和GeoTools的矢量空间数据存储模型研究[J];计算机应用与软件;2015年03期
6 李清泉;李德仁;;大数据GIS[J];武汉大学学报(信息科学版);2014年06期
7 孟辉;朱美正;张锋叶;;基于Hadoop的矢量空间数据库技术[J];计算机与现代化;2014年02期
8 尹芳;冯敏;诸云强;刘睿;;基于开源Hadoop的矢量空间数据分布式处理研究[J];计算机工程与应用;2013年16期
9 陈崇成;林剑峰;吴小竹;巫建伟;连惠群;;基于NoSQL的海量空间数据云存储与服务方法[J];地球信息科学学报;2013年02期
10 林德根;梁勤欧;;云GIS的内涵与研究进展[J];地理科学进展;2012年11期
中国博士学位论文全文数据库 前1条
1 范建永;基于Hadoop的云GIS若干关键技术研究[D];解放军信息工程大学;2013年
中国硕士学位论文全文数据库 前2条
1 祝若鑫;云计算环境下的空间矢量数据存储与管理[D];解放军信息工程大学;2015年
2 丁琛;基于HBase的空间数据分布式存储和并行查询算法研究[D];南京师范大学;2014年
【共引文献】
中国期刊全文数据库 前10条
1 李丽华;李淑慧;彭军还;;浅析大数据时代测绘工程专业高校教师的素质提升[J];教育教学论坛;2017年51期
2 刘志宏;王巍;王贵刚;唐永生;;石油企业物流信息管理系统的设计与实现[J];内燃机与配件;2017年22期
3 张春菊;李冠东;高飞;史超;朱少楠;;“互联网+”城市智慧停车模式研究[J];测绘通报;2017年11期
4 袁丽娜;;HDFS数据副本均衡放置策略的改进[J];计算机科学;2017年S2期
5 王传连;张宗朔;;基于私有云的大规模交通视频处理框架设计[J];计算机工程与应用;2017年21期
6 黄建伟;刘文可;;失地农民可持续生计政策满意度研究——基于江西省的调研数据[J];中国行政管理;2017年11期
7 王勇;尹鹏飞;李娟;;基于HBase的健康大数据平台性能优化及应用[J];软件导刊;2017年10期
8 高俊;;图到用时方恨少,重绘河山待后生——《测绘学报》60年纪念与前瞻[J];测绘学报;2017年10期
9 李德仁;;从测绘学到地球空间信息智能服务科学[J];测绘学报;2017年10期
10 朱庆;付萧;;多模态时空大数据可视分析方法综述[J];测绘学报;2017年10期
中国博士学位论文全文数据库 前1条
1 姚晓闯;矢量大数据管理关键技术研究[D];中国农业大学;2017年
中国硕士学位论文全文数据库 前4条
1 张炫铤;基于HBase的矢量空间数据存取关键技术研究[D];江西理工大学;2017年
2 孟鑫淼;基于HBase的空间数据云存储研究[D];河南大学;2016年
3 陈俊欣;基于Hadoop的空间矢量数据的分布式存储与查询研究[D];电子科技大学;2016年
4 靳凤营;基于云计算的土地利用矢量数据高效处理技术研究[D];浙江大学;2015年
【二级参考文献】
中国期刊全文数据库 前10条
1 LI DeRen;CAO JianJun;YAO Yuan;;Big data in smart cities[J];Science China(Information Sciences);2015年10期
2 李德仁;李熙;;论夜光遥感数据挖掘[J];测绘学报;2015年06期
3 李德仁;沈欣;龚健雅;张军;陆建华;;论我国空间信息网络的构建[J];武汉大学学报(信息科学版);2015年06期
4 李德仁;张良培;夏桂松;;遥感大数据自动分析与数据挖掘[J];测绘学报;2014年12期
5 李德仁;姚远;邵振峰;;智慧城市中的大数据[J];武汉大学学报(信息科学版);2014年06期
6 单杰;秦昆;黄长青;胡翔云;余洋;胡庆武;林志勇;陈江平;贾涛;;众源地理数据处理与分析方法探讨[J];武汉大学学报(信息科学版);2014年04期
7 龚健雅;李小龙;吴华意;;实时GIS时空数据模型[J];测绘学报;2014年03期
8 黎林峰;;2014年大数据发展趋势预测[J];中国建设信息;2014年03期
9 冯登国;张敏;李昊;;大数据安全与隐私保护[J];计算机学报;2014年01期
10 董新华;李瑞轩;周湾湾;王聪;薛正元;廖东杰;;Hadoop系统性能优化与功能增强综述[J];计算机研究与发展;2013年S2期
中国博士学位论文全文数据库 前4条
1 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
2 方雷;基于云计算的土地资源服务高效处理平台关键技术探索与研究[D];浙江大学;2011年
3 赵春宇;高性能并行GIS中矢量空间数据存取与处理关键技术研究[D];武汉大学;2006年
4 王兴玲;基于XML的地理信息Web服务研究[D];中国科学院研究生院(遥感应用研究所);2002年
中国硕士学位论文全文数据库 前10条
1 何涛;面向海量空间数据并行高效处理的存储模式设计与研究[D];电子科技大学;2014年
2 董亭亭;大数据下空间数据索引和kNN查询技术的研究[D];大连理工大学;2013年
3 李钰;基于MapReduce的空间数据RkNN算法研究[D];大连理工大学;2013年
4 李勋;基于hilbert划分的并行矢量数据索引算法研究[D];电子科技大学;2013年
5 张丹;HDFS中文件存储优化的相关技术研究[D];南京师范大学;2013年
6 卓海艺;基于HBase的海量数据实时查询系统设计与实现[D];北京邮电大学;2013年
7 张广弟;分布式环境下海量空间数据的存储和并行查询技术研究[D];江西理工大学;2012年
8 邰建华;Hadoop平台下的海量数据存储技术研究[D];东北石油大学;2012年
9 刘彪;空间数据库中基于MapReduce的kNN算法研究[D];大连海事大学;2012年
10 周一可;云计算下MapReduce编程模型可用性的研究与优化[D];上海交通大学;2011年
【相似文献】
中国期刊全文数据库 前5条
1 何榕健;戴韫卓;杜震洪;张丰;刘仁义;;一种多源矢量空间数据的联动增量更新模型[J];浙江大学学报(理学版);2013年05期
2 靳永双;赵汝顺;;角矢量空间理论[J];河南师范大学学报(自然科学版);2008年06期
3 李青元,刘晓东,曹代勇;WebGIS矢量空间数据压缩方法探讨[J];中国图象图形学报;2001年12期
4 王继周,李成名;万维网地理信息系统中矢量空间数据的多线程传输实现技术[J];测绘通报;2003年02期
5 许德合;朱长青;王奇胜;;利用QIM的DFT矢量空间数据盲水印模型[J];武汉大学学报(信息科学版);2010年09期
中国重要会议论文全文数据库 前1条
1 张彩霞;;多源矢量空间数据间的匹配[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集(下)[C];2006年
中国硕士学位论文全文数据库 前10条
1 张炫铤;基于HBase的矢量空间数据存取关键技术研究[D];江西理工大学;2017年
2 蔡地;互联网多源矢量空间数据自动获取与管理方法研究[D];中国测绘科学研究院;2015年
3 王春晖;矢量空间数据快速符号化研究与实现[D];浙江大学;2011年
4 田光;并行计算环境中矢量空间数据的划分策略研究与实现[D];中国地质大学;2011年
5 任海艳;移动GIS中矢量空间数据渐进传输方法的研究[D];北京林业大学;2012年
6 黄鹏;基于HBase的极光图像实验系统的设计与实现[D];西安电子科技大学;2015年
7 祝琳莹;基于HBase与多级格网索引的地表覆盖数据存储与检索研究[D];浙江大学;2017年
8 夏锐;基于Hadoop的VGI矢量空间数据管理方法研究[D];南京师范大学;2014年
9 康毅;HBase大对象存储方案的设计与实现[D];南京大学;2013年
10 邹敏昊;基于Lucene的HBase全文检索功能的设计与实现[D];南京大学;2013年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026