收藏本站
《南京师范大学》 2014年
收藏 | 手机打开
二维码
手机客户端打开本文

基于HBase的空间数据分布式存储和并行查询算法研究

丁琛  
【摘要】:随着社会和网络技术的发展,网络数据量急速增长,无论是个人还是企业,都面临着如何高效地存储和处理大数据的问题。Hadoop是由Apache基金会组织开发的一个开源的分布式大数据处理平台,它具有易扩展、高容错、可靠、高效、经济等特点,成为近几年应用最广泛的开源大数据处理平台。HBase使用Hadoop的分布式文件系统HDFS作为底层存储,是一个分布式,按列存储的数据库。它适合于存储大数据,支持单条记录的快速查询,在任意指定位置单条或批量添加、删除数据,并且支持MapReduce框架做分布式计算操作。 目前越来越多的科研和商业单位都在应用Hadoop和HBase,并取得了一定的成果。本论文对基于HBase的空间数据存储以及基于MapReduce并行化空间数据查询算法作了一些比较深入的研究。本文的主要创新点如下: 1.空间数据处理的基本单元是二维或三维坐标,HBase只支持一维行键检索。行键的设计是HBase存储和处理空间数据首要解决的问题。不同于Hilbert、Geohash等降维方法,本文提出了一种新的行键设计方法,将坐标数据转化为一维字符串。在行键设计的基础上,本文设计了一种新的适合存储空间数据的HBase表模式。 2.提出了Shapefile格式的空间数据导入]HBase的算法InsertDataToHBase,算法中应用了GeoTools工具读取Shapefile格式的空间数据。 3.设计了一种适合空间数据处理的HBase系统架构,该架构将GeoTools工具添加到客户端和MapReduce框架中。 4.提出了面向HBase的空间数据区域查询算法:窗口区域查询算法LoWindowQuery、MRWindowQuery和多边形区域查询算法LoMuliPoQuery、 MRMuliPoQuery。 5.提出了面向HBase的K近邻查询算法:面向点的K近邻查询算法PointKNN和基于索引表的K近邻查询算法IndexKNN。在IndexKNN方法中,基于查询热点并行化构建了索引表;使用索引表快速查找到K近邻对象,降低了查询时间,提高了查询效率。 实验结果表明,提出的算法对空间数据查询是有效的。
【学位授予单位】:南京师范大学
【学位级别】:硕士
【学位授予年份】:2014
【分类号】:TP311.13

【参考文献】
中国期刊全文数据库 前10条
1 叶亚琴;左泽均;陈波;;面向实体的空间数据模型[J];地球科学;2006年05期
2 毛先成,彭华熔;关系数据库存储空间数据模型与结构分析[J];地球信息科学;2005年01期
3 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期
4 范建永;龙明;熊伟;;基于HBase的矢量空间数据分布式存储研究[J];地理与地理信息科学;2012年05期
5 陈崇成;林剑峰;吴小竹;巫建伟;连惠群;;基于NoSQL的海量空间数据云存储与服务方法[J];地球信息科学学报;2013年02期
6 陆锋,周成虎;一种基于Hilbert排列码的GIS空间索引方法[J];计算机辅助设计与图形学学报;2001年05期
7 李成华;张新访;金海;向文;;MapReduce:新型的分布式并行计算编程模型[J];计算机工程与科学;2011年03期
8 史婷婷;李岩;王鹏;;基于GML空间数据存储方法研究与实现[J];计算机应用;2006年10期
9 潘农菲;GIS的空间数据在关系型数据库的实现理论及应用技术[J];计算机应用研究;2002年02期
10 许捍卫,冯学智;空间数据存储机制研究[J];计算机应用研究;2003年02期
【共引文献】
中国期刊全文数据库 前10条
1 陈龙高;陈龙乾;杨小艳;;基于GIS的多用途城乡一体化地籍管理信息系统设计研究[J];安徽农业科学;2009年30期
2 李光师;;基于Oracle Spatial的矢量空间数据管理机制[J];鞍山师范学院学报;2008年06期
3 郑军;陈晓颖;杜华栋;;基于MapInfo与Oracle Spatial的全关系型GIS系统[J];兵工自动化;2008年10期
4 孟庆野;;浅论造林决策系统的数据库设计[J];才智;2011年07期
5 芦逸云;图形对象空间数据序列化在GIS系统中的应用[J];成都信息工程学院学报;2004年02期
6 许捍卫;何江;柯红军;茆德柱;;长江江苏段河道DEM建立方法研究[J];测绘工程;2006年04期
7 潘婵玲;周顺平;杨林;陈荣潮;;基于MapGIS7.0的空间拓扑规则管理机制研究[J];测绘科学;2009年01期
8 赵福君;刘卉卉;李景文;陈大克;;城市空间框架数据库建设研究与应用[J];测绘科学;2009年03期
9 张书亮;孙玉婷;闾国年;;GML存储方法分析研究[J];测绘科学;2010年06期
10 赵国成;徐立;孙群;;面向拓扑的地理空间数据模型[J];测绘科学;2011年04期
中国重要会议论文全文数据库 前6条
1 张明波;申排伟;陆锋;程昌秀;;空间数据库管理平台核心技术分析与评述[A];中国地理信息系统协会第三次代表大会暨第七届年会论文集[C];2003年
2 张明波;陆锋;申排伟;程昌秀;;空间索引R树研究:回顾与展望[A];中国地理信息系统协会第八届年会论文集[C];2004年
3 张泽宝;张健沛;杨静;;基于R树的空间索引建立方法研究[A];第一届中国高校通信类院系学术研讨会论文集[C];2007年
4 生昕格;;基于hadoop的交通云数据处理平台设计[A];第七届中国智能交通年会优秀论文集——智能交通应用[C];2012年
5 陈德华;解维;李悦;;面向大规模图数据的分布式并行聚类算法研究[A];第29届中国数据库学术会议论文集(B辑)(NDBC2012)[C];2012年
6 高飞;张琦;李泽强;;基于云计算技术的影视节目版权交易云平台的构建[A];中国新闻技术工作者联合会2013年学术年会、五届五次理事会暨第六届“王选新闻科学技术奖”和优秀论文奖颁奖大会论文集(广电篇)[C];2013年
中国博士学位论文全文数据库 前10条
1 张泽宝;空间数据库的索引技术研究[D];哈尔滨工程大学;2009年
2 徐红波;基于空间填充曲线高维空间查询算法研究[D];哈尔滨理工大学;2010年
3 刘润涛;基于序的空间数据索引及查询算法研究[D];哈尔滨理工大学;2009年
4 杨晋强;空间数据集群服务体系结构与算法研究[D];解放军信息工程大学;2010年
5 贾奋励;电子地图多尺度表达的研究与实践[D];解放军信息工程大学;2010年
6 王刚;顾及要素特征的层次增量分块矢量数据组织与高效网络传输研究[D];武汉大学;2011年
7 谢跟踪;基于组件式GIS的生态环境信息系统研究[D];福建师范大学;2003年
8 张社荣;面板堆石坝安全监测关联管理系统研究[D];天津大学;2004年
9 季民;海洋渔业GIS时空数据组织与分析[D];山东科技大学;2004年
10 黄继先;基于R-树的空间数据库查询技术研究[D];中南大学;2005年
中国硕士学位论文全文数据库 前10条
1 解卫卫;基于ArcGIS Engine的电力地理信息系统平台设计[D];山东科技大学;2010年
2 李文杰;基于WebGIS的村镇土地管理系统的研究[D];山东农业大学;2010年
3 李海永;面向电子政务地理信息共享服务的空间数据实体化方法[D];辽宁工程技术大学;2009年
4 贺艳伟;基于WebGIS的城镇地籍管理信息系统的研究与实现[D];河北工程大学;2010年
5 潘志超;嵌入式GIS栅格数据引擎的设计与实现[D];解放军信息工程大学;2010年
6 徐立;矢量地图数据的局部拓扑算法研究与实现[D];解放军信息工程大学;2010年
7 吴雨光;基于GML的林业地理信息共享机制研究[D];中南林业科技大学;2010年
8 刘恩林;Geodatabase模型在空间数据库建立与信息采集中的应用研究[D];中南林业科技大学;2007年
9 曹大岭;基于WebGIS的自然保护区信息管理系统设计与实现[D];中国地质大学(北京);2011年
10 任鹏;基于WebGIS的医疗病例分布系统研究[D];沈阳师范大学;2011年
【二级参考文献】
中国期刊全文数据库 前10条
1 吴信才;新一代 MAP GIS[J];地理信息世界;2004年02期
2 东凯,方裕;空间数据库模型概念与结构研究[J];地理信息世界;2004年02期
3 孙红春,王卫安;基础地理信息图文一体化数据模型[J];测绘通报;2001年01期
4 谈国新;一体化空间数据结构及其索引机制研究[J];测绘学报;1998年04期
5 郭利川,郭建星,代晓波;浅谈地理信息系统中的空间数据模型[J];地理空间信息;2005年01期
6 宁焕生;张瑜;刘芳丽;刘文明;渠慎丰;;中国物联网信息服务系统研究[J];电子学报;2006年S1期
7 廖名学;范植华;;MPI程序同步通信基本模型死锁检测[J];电子学报;2008年02期
8 宁焕生;徐群玉;;全球物联网发展及中国物联网建设若干思考[J];电子学报;2010年11期
9 吕雪锋;程承旗;龚健雅;关丽;;海量遥感数据存储管理技术综述[J];中国科学:技术科学;2011年12期
10 张锋;常会友;;使用BP神经网络缓解协同过滤推荐算法的稀疏性问题[J];计算机研究与发展;2006年04期
中国硕士学位论文全文数据库 前1条
1 季昀;基于协同过滤推荐算法电影网站的构建[D];哈尔滨工业大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026