收藏本站
《中国测绘科学研究院》 2016年
收藏 | 手机打开
二维码
手机客户端打开本文

一种基于HDFS的分布式多级R树空间索引研究

马磊  
【摘要】:随着测绘技术不断的发展,测绘地理信息部门拥有的地理数据飞速增长,而相应的空间数据存储与处理仍然较多使用传统的方法,己不能支持海量空间数据。随着计算机技术的不断发展,数据库技术以及文件组织方式发生了巨大的变化。如今云计算、分布式处理及并行网格计算技术的逐渐成熟,在各行各业有着广泛的应用。HDFS (Hadoop Distributed File System)以及MapReduce作为目前广泛应用的分布式存储与计算框架,支持利用计算机集群进行海量数据的存储与快速处理,这为提高海量矢量数据的存储与计算提供了新途径。因此面向日益增长的大数据集管理要求,将分布式技术引入空间数据存储与组织中是空间数据存储与处理方法研究的重要课题之一。本文通过将传统空间数据存储以及查询方法与HDFS分布式存储技术相结合,借助于可扩展的分布式文件系统HDFS存储空间数据,解决了海量空间数据的存储问题。由于传统的空间索引并不能很好的适用于分布式空间数据存储结构,因此本文设计了全局索引与局部索引相结合的分布式多级R树空间索引——DMLR(Distributed Multi-layer R Tree)。DMLR空间索引采用STR叶结点分割思想对空间数据进行分区,可以更好的应对数据分布不均衡的情况。利用Spark并行计算框架对DMLR索引进行并行构建,加快了DMLR索引的构建效率。此外通过将传统的空间数据查询方法与并行计算技术相结合,设计了基于DMLR空间索引的空间数据并行查询方法。包括并行范围聚集查询、并行k邻近查询、并行空间连接查询等方法。DMLR空间索引为分布式空间数据索引提供了一种新方法。通过空间数据并行查询实验也验证了DMLR索引在分布式环境下对海量空间数据管理的有效性。
【学位授予单位】:中国测绘科学研究院
【学位级别】:硕士
【学位授予年份】:2016
【分类号】:P208

【相似文献】
中国期刊全文数据库 前10条
1 曹加恒,张剑,谭辉,赵莉;空间索引的新机制——G树[J];武汉大学学报(自然科学版);1998年01期
2 赵园春;李成名;赵春宇;;并行R树空间索引中叶节点大小的确定方法研究[J];测绘科学;2008年04期
3 何珍文;郑祖芳;刘刚;吴冲龙;;动态广义表空间索引方法[J];地理与地理信息科学;2011年05期
4 赵园春;李成名;赵春宇;;基于R树的分布式并行空间索引机制研究[J];地理与地理信息科学;2007年06期
5 蒋子阳;周志强;汪新庆;;3DGIS中基于改进R树的空间索引技术研究[J];工程地球物理学报;2007年06期
6 刘荣;周宏军;田为春;;两种空间索引结构在供水信息系统中的应用和对比[J];东华理工大学学报(自然科学版);2008年04期
7 孙晓光;;导航数据库中空间索引建立方法研究[J];测绘与空间地理信息;2008年03期
8 胡波;;空间索引技术及其应用研究[J];赤峰学院学报(自然科学版);2009年11期
9 王继水;顾卫杰;;3DGIS中混合空间索引技术的研究[J];工矿自动化;2010年12期
10 宋晓宇;周新伟;王永会;;三维GIS中混合树空间索引结构的研究[J];沈阳建筑大学学报(自然科学版);2006年03期
中国重要会议论文全文数据库 前8条
1 张明波;陆锋;申排伟;程昌秀;;空间索引R树研究:回顾与展望[A];中国地理信息系统协会第八届年会论文集[C];2004年
2 张明波;陆锋;申排伟;程昌秀;;空间索引R树研究:批量操作技术[A];中国地理信息系统协会第八届年会论文集[C];2004年
3 张泽宝;张健沛;杨静;;基于R树的空间索引建立方法研究[A];第一届中国高校通信类院系学术研讨会论文集[C];2007年
4 冯钧;陆佳民;朱跃龙;卢阳;;面向城市路网管理的空间索引结构研究[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
5 叶常春;罗金平;周兴铭;;一种基于数据特性的空间数据组织技术[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
6 李佳田;陈军;赵仁亮;;一种支持离散面目标自然邻居查询的空间索引[A];中国测绘学会九届三次理事会暨2007年“信息化测绘论坛”学术年会论文集[C];2007年
7 赵伟;张姝;李文辉;;一种快速的基于K-Means算法的空间索引方法[A];中国几何设计与计算新进展2007——第三届中国几何设计与计算大会论文集[C];2007年
8 牛红光;李汉荣;鲁强;孙万民;贾俊涛;;基于线性可排序四叉树的空间索引研究[A];第二十一届海洋测绘综合性学术研讨会论文集[C];2009年
中国硕士学位论文全文数据库 前10条
1 陈伊玲;基于向量近似的复合空间索引研究[D];南京师范大学;2015年
2 李运兴;基于R*的分布式空间索引算法研究[D];河南大学;2015年
3 胡昱璞;动态k值聚类的R-树空间索引构建[D];太原理工大学;2016年
4 马磊;一种基于HDFS的分布式多级R树空间索引研究[D];中国测绘科学研究院;2016年
5 李建;基于智能手机的移动GIS空间索引研究与实现[D];河南理工大学;2011年
6 陈敏;基于R-树空间索引的优化研究与应用[D];福州大学;2006年
7 陈镇虎;面向空间数据库引擎的空间索引系统[D];北京工业大学;2002年
8 刘聪;空间索引技术在移动办公软件中的研究与应用[D];中国地质大学(北京);2014年
9 李杨;基于最小边界圆和最小包围扇形的空间索引方法[D];哈尔滨理工大学;2009年
10 于波;分布式并行空间索引机制的研究[D];哈尔滨理工大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026