收藏本站
《电子科技大学》 2016年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Hadoop的空间矢量数据的分布式存储与查询研究

陈俊欣  
【摘要】:目前空间数据的规模不断增长,使得处理和分析空间数据技术的难度不断增加,同时GIS在各个行业的广泛应用,海量空间数据进行高效管理和处理的难度不断加大,多数领域也对空间数据的精度提出了越来越高的要求,迫切需要新的技术和方法来管理和处理海量的空间数据。目前的开源的分布式大数据处理平台利用分布式存储和并行计算的方法能为解决上述问题提供一种新的方法。本文基于Hadoop开源大数据处理平台,利用HBase在空间数据并发访问和数据处理方面的优势来高效、合理存储和管理空间数据,主要在空间数据的存储和查询两个方面作了比较深入的研究。首先,研究了空间数据存储与并行处理的国内外现状,分析对比了当前空间数据的几种存储方式,深入研究了MapReduce并行计算框架的整个原理和运行的机制以及HBase的存储模型,并设计了空间数据复合行键拼接加入分隔符的行键存储模式,取消了过滤列族的设计。接着使用GeoTools工具将Shapefile文件导入HBase表,通过GeoTools工具构建出空间数据对象,分析了GeoTools工具整合到MapReduce并行计算框架下空间数据处理的流程。最后,在此基础上,提出了空间数据的窗口查询、多边形区域查询的MapReduce并行化解决方案以及基于Geohash的空间数据的K近邻查询算法,并在Hadoop的分布式环境中进行了空间数据导入和多种空间查询和并行处理实验,验证了HBase存储和处理空间数据的优势以及查询算法有更高的效率和更好的准确性。主要取得了以下研究成果:(1)通过一种在HBase中新的空间数据的存储表模式设计,来获得HBase在海量空间数据分布式存储方面性能的优越性。(2)提出将GeoTools工具整合到MapReduce并行计算框架下空间数据处理的流程,通过这个方式来完成空间数据的导入导出。(3)采用MapReduce 2.0并行程序设计框架来完成空间数据的窗口查询、多边形区域查询,经实验证明,该并行化算法对比与传统查询算法有明显的优势。(4)提出了基于Geohash的空间数据的K近邻查询算法,利用地理散列的前缀匹配串作为行键存储的空间数据表模式,完成区域内的K近邻空间对象的检索。
【学位授予单位】:电子科技大学
【学位级别】:硕士
【学位授予年份】:2016
【分类号】:TP311.13

【参考文献】
中国期刊全文数据库 前5条
1 邵奇峰;李枫;;一种基于HBase的空间关键字查询算法[J];计算机工程与科学;2015年11期
2 杜景林;蔡苏鹏;;基于Geohash的人工影响天气气象预警系统设计[J];计算机应用与软件;2015年08期
3 李运兴;马骏;;基于Hadoop高性能查询的空间数据库设计与实现[J];中原工学院学报;2014年04期
4 何涛;刘强;郑泽忠;刘帅;;基于MapRedue的大规模矢量空间数据选择查询处理[J];科技创新导报;2014年09期
5 孟辉;朱美正;张锋叶;;基于Hadoop的矢量空间数据库技术[J];计算机与现代化;2014年02期
【共引文献】
中国期刊全文数据库 前4条
1 吴琰;唐小明;;基于HBase的分布式空间数据库技术[J];吉林大学学报(理学版);2016年06期
2 赵雨琪;牟乃夏;祝帅兵;张昌景;;基于GeoHash算法的周边查询应用研究[J];软件导刊;2016年06期
3 伍锦程;韩媛;张涛;;浅谈Hadoop和PostgreSQL在地质资料集群化中的适用性[J];图书情报导刊;2016年04期
4 赵小娟;陈韬;;基于Hadoop搭建云GIS平台的探索与研究[J];广东科技;2014年20期
【相似文献】
中国期刊全文数据库 前10条
1 陈俊杰,邹友峰;GIS空间数据质量评价软件设计探讨[J];矿山测量;2005年03期
2 洪志全,叶琳,辛俊,张于峰;GIS空间数据索引技术研究与实现[J];物探化探计算技术;2005年01期
3 胡圣武;张光胜;王宏涛;;空间数据建库研究[J];地球科学与环境学报;2007年02期
4 李伟芬;丁静;苗卿;;空间数据多尺度研究综述[J];电脑知识与技术(学术交流);2007年13期
5 王庆光;;GIS空间数据质量研究[J];水利科技与经济;2007年05期
6 丁滨;夏洪山;;GIS空间数据索引技术研究[J];江苏航空;2007年04期
7 谭红霞;;GIS空间数据的质量探讨[J];山东国土资源;2009年06期
8 廖俊国,刘兴权;浅析GIS空间数据的误差来源及处理方法[J];江苏测绘;1998年03期
9 廖俊国,刘兴权;浅析GIS空间数据的误差来源及处理方法[J];四川测绘;1998年03期
10 柴振荣;空间数据的新用户[J];管理科学文摘;1999年09期
中国重要会议论文全文数据库 前10条
1 汪建光;;空间数据自动批处理技术研究[A];2009全国测绘科技信息交流会暨首届测绘博客征文颁奖论文集[C];2009年
2 杨成韫;荣芳;彭子风;;基于客户/服务器结构的空间数据分布式处理研究[A];新世纪 新机遇 新挑战——知识创新和高新技术产业发展(上册)[C];2001年
3 陈良刚;王海兵;王宇君;施伯乐;;基于约束的空间数据查询[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
4 陈荦;刘云翔;唐宇;景宁;;基于优先图的空间数据应用服务链建模方法[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
5 杜红悦;宫辉力;冯克忠;贾建坤;权忠生;;应急救灾空间数据中心建设技术与策略研究[A];第十七届中国遥感大会摘要集[C];2010年
6 李诺夫;黎雷;;网络环境下空间数据的管理[A];地理空间信息技术与应用——中国科协2002年学术年会测绘论文集[C];2002年
7 刘新贵;黄雅娟;;空间数据网络化获取与管理初探[A];中国地理信息系统协会第三次代表大会暨第七届年会论文集[C];2003年
8 廖佳;;基础空间数据生命周期管理[A];地理空间信息技术及其应用论坛论文集[C];2005年
9 叶荣青;吴晓玲;;福建省基础空间数据管理技术研究[A];第四届海峡两岸GIS发展研讨会暨中国GIS协会第十届年会论文集[C];2006年
10 方金云;;空间数据虚拟化的实现技术研究[A];中国地理信息系统协会第九届年会论文集[C];2005年
中国重要报纸全文数据库 前10条
1 宁津生 陈军 晁定波;空间数据质量的主要内涵[N];中国测绘报;2002年
2 李丰丹;“国家地质空间数据网格服务系统”获发明专利[N];中国矿业报;2009年
3 记者 胡其峰;多项空间数据成果向社会开放[N];光明日报;2013年
4 孙昭荣;GIS图穷数字见[N];中国计算机报;2002年
5 宁津生 陈军 晁定波;空间数据的质量控制方法[N];中国测绘报;2002年
6 刘荣梅;中国1∶100万地质图空间数据实现国际共享[N];中国国土资源报;2014年
7 陈拂晓;空间数据:“数字城市”建设的基础[N];中国计算机报;2002年
8 王东华罗建军;美国空间数据一站式服务系统[N];中国测绘报;2007年
9 深圳商报记者 董超文;一部手机将可“装”下一座城市[N];深圳商报;2006年
10 中国工程院院士 刘先林;航测为智慧城市建设提供空间数据[N];中国信息化周报;2014年
中国博士学位论文全文数据库 前10条
1 刘义;大规模空间数据的高性能查询处理关键技术研究[D];国防科学技术大学;2013年
2 范建永;基于Hadoop的云GIS若干关键技术研究[D];解放军信息工程大学;2013年
3 马伯宁;空间数据多尺度建模关键技术研究[D];国防科学技术大学;2014年
4 刘伟;基于地理本体的空间数据服务发现与集成[D];中国矿业大学;2010年
5 陈晓斌;基于网格中间件的空间数据访问与集成技术[D];解放军信息工程大学;2012年
6 李世明;林业空间数据平台技术的应用示范研究[D];中国林业科学研究院;2008年
7 郭加树;空间数据仓的构建及应用[D];中国石油大学;2007年
8 桑永胜;空间数据分析的神经计算方法[D];电子科技大学;2010年
9 刘丹;对等计算环境中的空间数据查询定位研究[D];武汉大学;2011年
10 胡茂胜;基于数据中心模式的分布式异构空间数据无缝集成技术研究[D];中国地质大学;2009年
中国硕士学位论文全文数据库 前10条
1 张明佳;空间数据地图模型的原型设计[D];中国地质大学(北京);2015年
2 于海涛;基于AE的油气田地理信息系统的设计与实现[D];中国地质大学(北京);2015年
3 付悦华;基于概念格的空间数据规则提取[D];江西理工大学;2015年
4 项天宋;非洲综合资源环境信息空间可视化系统设计与应用研究[D];福建师范大学;2015年
5 梁杰超;空间数据的访问控制技术研究[D];浙江大学;2015年
6 崔洪博;重庆配电网基础地理信息系统设计与实现[D];电子科技大学;2015年
7 黄正中;空间环境数据处理及可视化交互技术研究[D];电子科技大学;2014年
8 李青岩;Android下的移动空间数据存取方法研究[D];江西理工大学;2015年
9 何拴;基于ArcGIS的黑河中游水资源信息化平台研究[D];兰州大学;2015年
10 李真;海防雷达实训数据管理系统的设计与实现[D];大连海事大学;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026