收藏本站
《河南大学》 2016年
收藏 | 手机打开
二维码
手机客户端打开本文

基于HBase的空间数据云存储研究

孟鑫淼  
【摘要】:随着GPS和北斗等定位技术的快速发展,物联网、车联网、移动互联网等基于实时定位技术的应用不断成熟,空间数据呈现井喷式增长。面对互联网环境下数据类型多,更新快,高并发访问等特征,传统的数据管理方式日益难以适应需求。因此,高效的存储和管理空间大数据,成为当下亟待解决的问题。云存储和分布式计算为上述问题的解决提供了一种新的途径。本文针对目前空间数据存储管理方法的不足,利用分布式数据库HBase存储管理海量空间数据,研究了HBase中空间数据的存储模型以及并行处理的关键技术,主要做了以下工作:(1)分析了云平台下HDFS和HBase的架构和技术原理,以及MapReduce计算框架,为云计算环境下空间数据的管理奠定基础。(2)HBase以一维的行键进行查询,而矢量线、面数据包含多个二维的坐标。如何将多个二维的坐标转化一维字符串,就成了HBase存储管理空间首要问题。本文基于GeoHash空间降维算法,探索适合云平台下的空间数据索引方法。(3)结合HBase的NoSQL特性,设计了空间数据在HBase中的存储模型,并利用MapReduce分布式计算框架,给出了矢量线、面的并行化查询流程。最后,通过实验证明,本文设计的基于GeoHash曲线索引的HBase空间数据存储模型,以及并行化查询流程具有良好性能。
【学位授予单位】:河南大学
【学位级别】:硕士
【学位授予年份】:2016
【分类号】:P208

【参考文献】
中国期刊全文数据库 前10条
1 李亚如;刘建华;;大数据环境下MapReduce准入控制的设计与实现[J];计算机测量与控制;2016年02期
2 易显天;徐展;郭承军;刘丹;张可;;基于Patricia树的空间索引结构[J];计算机工程;2015年12期
3 张叶;许国艳;花青;;基于HBase的矢量空间数据存储与访问优化[J];计算机应用;2015年11期
4 杜景林;蔡苏鹏;;基于Geohash的人工影响天气气象预警系统设计[J];计算机应用与软件;2015年08期
5 张东;亓开元;苏志远;赵江;;大数据平台和产品标准化建设研究[J];信息技术与标准化;2015年07期
6 龙良辉;方源敏;;MapGIS向ArcGIS数据转换方法在勘测定界中的应用[J];价值工程;2015年03期
7 万轶;向广利;;基于hadoop和hbase的分布式索引集群研究[J];信息技术与信息化;2015年01期
8 杜威;邹先霞;;数据流与磁盘存贮表的连接计算算法[J];控制工程;2014年06期
9 廖辰瀚;王盛;李凯;王换文;孟凡德;尹春阳;;基于HBase的互联网电视运营分析架构和模型设计[J];新疆农垦科技;2014年08期
10 曾乐;陈东辉;肖卫青;梁中军;;基于Hadoop的气象数据存储检索应用研究[J];信息系统工程;2014年08期
中国博士学位论文全文数据库 前4条
1 侯志通;条带状公路运营管理空间大数据降维组织及混合存储关键技术研究[D];浙江大学;2015年
2 章永志;顾及我国地理特点的全球空间信息多级网格理论与关键技术研究[D];华中科技大学;2014年
3 苗茹;面向WEB可视化的矢量数据流式渐进传输研究[D];河南大学;2014年
4 王富强;空间知识地图构建理论和方法研究[D];解放军信息工程大学;2013年
中国硕士学位论文全文数据库 前9条
1 王建辉;基于HBase跨行事务系统的设计与实现[D];北京工业大学;2014年
2 丁琛;基于HBase的空间数据分布式存储和并行查询算法研究[D];南京师范大学;2014年
3 唐韬;基于HBase的SQL转化引擎研究[D];电子科技大学;2014年
4 单旭;异构大数据存储方法研究[D];北京交通大学;2014年
5 田胜利;针对HBase的MapReduce数据访问方式的优化[D];国防科学技术大学;2012年
6 梁建超;基于开源WebGIS软件Geomajas的应用研究[D];西安科技大学;2012年
7 李林;基于hadoop的海量图片存储模型的分析和设计[D];杭州电子科技大学;2011年
8 周维民;电子海图数据集成技术研究及应用[D];哈尔滨工程大学;2009年
9 贾珺;GIS综合集成应用开发技术研究[D];国防科学技术大学;2007年
【共引文献】
中国期刊全文数据库 前10条
1 李新庆;卫建国;单新兰;冯瑞萍;;宁夏气象业务内网的功能与实现[J];干旱气象;2017年06期
2 张素智;赵亚楠;杨芮;;支持空间数据移动查询的索引研究[J];湖北民族学院学报(自然科学版);2017年04期
3 张素智;赵亚楠;杨芮;;基于MPB-Tree索引的空间数据多关键词模糊查询算法研究[J];华中师范大学学报(自然科学版);2017年06期
4 李新庆;陈玉华;卫建国;岳勇;王凡;;基于CIMISS的宁夏气象数据存储应用扩展研究[J];江西科学;2017年06期
5 曾莉;;面向服务中心的地理信息系统总体架构[J];电子设计工程;2017年23期
6 张志东;;云计算环境下用户兴趣数据准确检测仿真[J];计算机仿真;2017年10期
7 张帅;贾如春;;基于Hadoop的大数据信息安全监控云平台设计与研究[J];计算机测量与控制;2017年09期
8 赵亚楠;朱月琴;李朝奎;肖克炎;范建福;李秋平;;全国矿产资源潜力评价成果数据智能检索方法研究[J];中国矿业;2017年09期
9 王建荣;季刚;;海量自动气象站分钟数据存储检索系统设计[J];计算机与现代化;2017年09期
10 赵丹;;基于大数据分析的运动损伤估计模型设计[J];现代电子技术;2017年17期
中国博士学位论文全文数据库 前4条
1 崔登吉;空间分布模式驱动的空间数据组织与索引研究[D];南京师范大学;2016年
2 张海静;地图隐性知识模型构建及其在点数据可视化中的应用[D];武汉大学;2016年
3 方磊;近海碳通量遥感信息的可视化构形与时空过程表达[D];浙江大学;2015年
4 李伟;面向空间知识地图服务的用户研究[D];解放军信息工程大学;2014年
中国硕士学位论文全文数据库 前10条
1 宋大川;水泥企业集团生产数据存储的关键技术研究[D];济南大学;2017年
2 李东奎;基于HBase数据管理平台的设计和实现[D];北京邮电大学;2017年
3 张炫铤;基于HBase的矢量空间数据存取关键技术研究[D];江西理工大学;2017年
4 田恒宇;基于开源WebGIS的村级资源管理信息系统之构建[D];成都理工大学;2017年
5 侯汉祎;高速公路收费站服务水平和车辆计重算法研究[D];长安大学;2017年
6 宋春红;传统关系型数据库向非关系型数据库迁移算法研究[D];华侨大学;2017年
7 林艺君;基于Spark平台的网络数据分析系统的设计与实现[D];北京邮电大学;2017年
8 王军;面向纺织智能制造的信息物理融合系统研究[D];东华大学;2017年
9 荣稳华;Shape向S-57的海图格式转换关键技术研究[D];大连海事大学;2017年
10 刘希冀;基于Spark的海量数据实时查询系统的设计与实现[D];北京邮电大学;2017年
【二级参考文献】
中国期刊全文数据库 前10条
1 李晓蕾;;基于Hadoop社交网络分析平台的设计与实现[J];计算机测量与控制;2014年12期
2 郑晓薇;项明;张大为;刘青昆;;基于节点能力的Hadoop集群任务自适应调度方法[J];计算机研究与发展;2014年03期
3 金安;程承旗;宋树华;陈波;;基于Geohash的面数据区域查询[J];地理与地理信息科学;2013年05期
4 何翔;李仁发;唐卓;;一种异构环境下的基于MapReduce任务调度改进机制[J];计算机应用研究;2013年11期
5 孙彦富;;人工影响天气在气象防灾减灾中的作用及发展对策[J];现代农业科技;2013年08期
6 陈崇成;林剑峰;吴小竹;巫建伟;连惠群;;基于NoSQL的海量空间数据云存储与服务方法[J];地球信息科学学报;2013年02期
7 杜景林;尚金龙;薛建军;;人工影响天气作业效果评估系统设计[J];计算机应用与软件;2013年02期
8 查东平;林辉;孙华;刘年元;申展;;基于GDAL的遥感影像数据快速读取与显示方法的研究[J];中南林业科技大学学报;2013年01期
9 赵岩;王思远;毕海芸;王辉;殷慧;;基于GDAL的遥感图像浏览关键技术研究[J];计算机工程;2012年23期
10 刘润涛;陈琳琳;田广悦;;Z曲线网格划分的最近邻查询[J];计算机工程与应用;2013年22期
中国博士学位论文全文数据库 前10条
1 张安民;e-航海中的动态信息服务若干关键技术研究[D];武汉大学;2013年
2 程江华;高分辨率SAR图像道路提取方法研究[D];国防科学技术大学;2013年
3 周勇;湘西高速公路滑坡监测关键技术及监测信息系统研究[D];中南大学;2012年
4 王刚;顾及要素特征的层次增量分块矢量数据组织与高效网络传输研究[D];武汉大学;2011年
5 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
6 王红;基础地理信息地形数据库信息量度量方法研究[D];辽宁工程技术大学;2010年
7 唐曦;空间规划专题地图的符号构建与可视化策略[D];华东师范大学;2010年
8 贾奋励;电子地图多尺度表达的研究与实践[D];解放军信息工程大学;2010年
9 戴晨光;空间数据融合与可视化的理论及算法[D];解放军信息工程大学;2008年
10 赵春宇;高性能并行GIS中矢量空间数据存取与处理关键技术研究[D];武汉大学;2006年
中国硕士学位论文全文数据库 前10条
1 唐皓;实时数据库设计及实现和事务调度算法的研究[D];哈尔滨工业大学;2013年
2 张丹;HDFS中文件存储优化的相关技术研究[D];南京师范大学;2013年
3 卓海艺;基于HBase的海量数据实时查询系统设计与实现[D];北京邮电大学;2013年
4 邰建华;Hadoop平台下的海量数据存储技术研究[D];东北石油大学;2012年
5 李方超;基于NOSQL的数据最终一致性策略研究[D];哈尔滨工程大学;2012年
6 刘彤;基于Hadoop的数据分析系统设计和实现[D];北京邮电大学;2012年
7 车乌江;分布式数据库的数据加锁与一致性研究[D];湖南科技大学;2011年
8 朱兴洲;基于开源GIS的鄱阳湖水环境管理应用系统研究[D];南京林业大学;2011年
9 王承才;小学校园Web网络硬盘应用系统的研究及实现[D];华南理工大学;2011年
10 李波;基于Hadoop的海量图象数据管理[D];华东师范大学;2011年
【相似文献】
中国期刊全文数据库 前10条
1 曹学宝;冯艳芬;;面向空间数据仓库的空间数据集成研究[J];测绘与空间地理信息;2003年04期
2 刘瑜,张毅,邬伦;空间数据工程理论框架研究[J];地理与地理信息科学;2003年01期
3 李晓印,张友顺,杨昕,刘爱利;空间数据的“无纸化”管理探讨[J];国土资源科技管理;2004年02期
4 ;《空间数据系统》[J];航天器工程;2005年01期
5 陈俊杰,邹友峰;GIS空间数据质量评价软件设计探讨[J];矿山测量;2005年03期
6 洪志全,叶琳,辛俊,张于峰;GIS空间数据索引技术研究与实现[J];物探化探计算技术;2005年01期
7 胡圣武;张光胜;王宏涛;;空间数据建库研究[J];地球科学与环境学报;2007年02期
8 李伟芬;丁静;苗卿;;空间数据多尺度研究综述[J];电脑知识与技术(学术交流);2007年13期
9 王庆光;;GIS空间数据质量研究[J];水利科技与经济;2007年05期
10 丁滨;夏洪山;;GIS空间数据索引技术研究[J];江苏航空;2007年04期
中国重要会议论文全文数据库 前10条
1 汪建光;;空间数据自动批处理技术研究[A];2009全国测绘科技信息交流会暨首届测绘博客征文颁奖论文集[C];2009年
2 杨成韫;荣芳;彭子风;;基于客户/服务器结构的空间数据分布式处理研究[A];新世纪 新机遇 新挑战——知识创新和高新技术产业发展(上册)[C];2001年
3 陈良刚;王海兵;王宇君;施伯乐;;基于约束的空间数据查询[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
4 陈荦;刘云翔;唐宇;景宁;;基于优先图的空间数据应用服务链建模方法[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
5 杜红悦;宫辉力;冯克忠;贾建坤;权忠生;;应急救灾空间数据中心建设技术与策略研究[A];第十七届中国遥感大会摘要集[C];2010年
6 李诺夫;黎雷;;网络环境下空间数据的管理[A];地理空间信息技术与应用——中国科协2002年学术年会测绘论文集[C];2002年
7 刘新贵;黄雅娟;;空间数据网络化获取与管理初探[A];中国地理信息系统协会第三次代表大会暨第七届年会论文集[C];2003年
8 廖佳;;基础空间数据生命周期管理[A];地理空间信息技术及其应用论坛论文集[C];2005年
9 叶荣青;吴晓玲;;福建省基础空间数据管理技术研究[A];第四届海峡两岸GIS发展研讨会暨中国GIS协会第十届年会论文集[C];2006年
10 方金云;;空间数据虚拟化的实现技术研究[A];中国地理信息系统协会第九届年会论文集[C];2005年
中国重要报纸全文数据库 前10条
1 宁津生 陈军 晁定波;空间数据质量的主要内涵[N];中国测绘报;2002年
2 李丰丹;“国家地质空间数据网格服务系统”获发明专利[N];中国矿业报;2009年
3 记者 胡其峰;多项空间数据成果向社会开放[N];光明日报;2013年
4 孙昭荣;GIS图穷数字见[N];中国计算机报;2002年
5 宁津生 陈军 晁定波;空间数据的质量控制方法[N];中国测绘报;2002年
6 刘荣梅;中国1∶100万地质图空间数据实现国际共享[N];中国国土资源报;2014年
7 陈拂晓;空间数据:“数字城市”建设的基础[N];中国计算机报;2002年
8 王东华罗建军;美国空间数据一站式服务系统[N];中国测绘报;2007年
9 深圳商报记者 董超文;一部手机将可“装”下一座城市[N];深圳商报;2006年
10 中国工程院院士 刘先林;航测为智慧城市建设提供空间数据[N];中国信息化周报;2014年
中国博士学位论文全文数据库 前10条
1 刘义;大规模空间数据的高性能查询处理关键技术研究[D];国防科学技术大学;2013年
2 范建永;基于Hadoop的云GIS若干关键技术研究[D];解放军信息工程大学;2013年
3 马伯宁;空间数据多尺度建模关键技术研究[D];国防科学技术大学;2014年
4 刘伟;基于地理本体的空间数据服务发现与集成[D];中国矿业大学;2010年
5 陈晓斌;基于网格中间件的空间数据访问与集成技术[D];解放军信息工程大学;2012年
6 李世明;林业空间数据平台技术的应用示范研究[D];中国林业科学研究院;2008年
7 郭加树;空间数据仓的构建及应用[D];中国石油大学;2007年
8 桑永胜;空间数据分析的神经计算方法[D];电子科技大学;2010年
9 刘丹;对等计算环境中的空间数据查询定位研究[D];武汉大学;2011年
10 胡茂胜;基于数据中心模式的分布式异构空间数据无缝集成技术研究[D];中国地质大学;2009年
中国硕士学位论文全文数据库 前10条
1 张明佳;空间数据地图模型的原型设计[D];中国地质大学(北京);2015年
2 于海涛;基于AE的油气田地理信息系统的设计与实现[D];中国地质大学(北京);2015年
3 付悦华;基于概念格的空间数据规则提取[D];江西理工大学;2015年
4 项天宋;非洲综合资源环境信息空间可视化系统设计与应用研究[D];福建师范大学;2015年
5 梁杰超;空间数据的访问控制技术研究[D];浙江大学;2015年
6 崔洪博;重庆配电网基础地理信息系统设计与实现[D];电子科技大学;2015年
7 黄正中;空间环境数据处理及可视化交互技术研究[D];电子科技大学;2014年
8 李青岩;Android下的移动空间数据存取方法研究[D];江西理工大学;2015年
9 何拴;基于ArcGIS的黑河中游水资源信息化平台研究[D];兰州大学;2015年
10 李真;海防雷达实训数据管理系统的设计与实现[D];大连海事大学;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026