收藏本站
《电子科技大学》 2014年
收藏 | 手机打开
二维码
手机客户端打开本文

面向海量空间数据并行高效处理的存储模式设计与研究

何涛  
【摘要】:随着现代地理空间信息技术的快速发展,带来了空间数据集规模的急剧膨胀。面对如此海量和复杂的空间数据集,迫切需要一种能够对其进行高效的组织、存储、处理与管理的技术解决方案。Hadoop提供了海量的数据存储能力和支持并行计算的编程模型,为实现海量空间数据的存储与计算一体化提供强大的平台支持。本文基于开源Hadoop软件框架对海量空间数据的高效存储管理开展了以下研究:(1)深入分析了当前海量空间数据的存储管理方法,总结了每种方法的优缺点,为下一步研究提供坚实的理论依据。详细介绍了Hadoop架构体系的三大核心技术,分布式文件系统HDFS,并行编程模型MapReduce和分布式数据库HBase。(2)深入研究了HDFS的文件存储机制,结合简单矢量数据结构,设计了适合在HDFS中存储矢量数据的存储模式,在此基础上实现最基本的矢量空间操作。针对传统射线法不适合批量点包含判断的问题,同时为避免射线法的大量求交运算,对射线法进行改进,并通过MapReduce并行编程模型加以实现。最后,利用分布式数据库HBase管理经MapReduce编程模型处理输出的矢量数据。(3)通过比较现有Hadoop小文件存储解决方法,设计了一种基于MapFile序列文件技术的海量栅格数据存储模式,实现海量栅格数据在HDFS的高效存储,并利用HBase数据库表管理海量栅格数据,提高了海量栅格数据的存储与读写效率。为实现图像的并行聚类,通过MapReduce编程模型对K均值聚类算法进行并行化设计,缩短了聚类时间。(4)搭建Hadoop计算平台,开展了基于分布式集群的海量点包含性测试、海量栅格数据存储性能测试、图像聚类等实验,证明本文设计的存储模式能够为海量空间数据的高效处理提供支持。
【学位授予单位】:电子科技大学
【学位级别】:硕士
【学位授予年份】:2014
【分类号】:P208;P209

【参考文献】
中国期刊全文数据库 前2条
1 陈涛;肖侬;刘芳;付长胜;;基于聚类和一致Hash的数据布局算法[J];软件学报;2010年12期
2 周婷;张君瑛;罗成;;基于Hadoop的K-means聚类算法的实现[J];计算机技术与发展;2013年07期
【共引文献】
中国期刊全文数据库 前10条
1 陈涛;肖侬;刘芳;;对象存储系统中一种高效的分层对象布局算法[J];计算机研究与发展;2012年04期
2 董微;闻育;;基于数据关联性聚类的数据布局算法[J];计算机工程与应用;2014年03期
3 葛君伟;陈志林;方义秋;;一种基于纠删码的数据放置容错算法[J];计算机应用研究;2014年09期
4 叶小榕;邵晴;;政府网站移动搜索的日志挖掘和个性化改进[J];科技导报;2014年36期
5 马汉达;郝晓宇;马仁庆;;基于Hadoop的并行PSO-kmeans算法实现Web日志挖掘[J];计算机科学;2015年S1期
6 马汉达;杨丽娜;;基于Hadoop的PSO-KM聚类算法的并行实现[J];信息技术;2015年07期
7 赵彦荣;王伟平;孟丹;张书彬;李均;;基于Hadoop的高效连接查询处理算法CHMJ[J];软件学报;2012年08期
8 陈涛;肖侬;刘芳;;对象存储系统中自适应的元数据负载均衡机制[J];软件学报;2013年02期
9 宋杰;王智;李甜甜;于戈;;一种优化MapReduce系统能耗的数据布局算法[J];软件学报;2015年08期
10 张志远;火一莽;万月亮;翁越龙;;储存系统数据布局算法进展分析[J];信息网络安全;2013年05期
中国重要会议论文全文数据库 前1条
1 付伟;白永超;辛阳;;一种基于Hadoop和K-means的Web日志分析方案的设计[A];第十九届全国青年通信学术年会论文集[C];2014年
中国博士学位论文全文数据库 前1条
1 龙赛琴;云存储系统中的数据布局策略研究[D];华南理工大学;2014年
中国硕士学位论文全文数据库 前7条
1 王俊杰;密度敏感的K-means聚类算法研究[D];山东师范大学;2014年
2 赵庆;基于hadoop平台下的k均值高效算法的研究[D];西安电子科技大学;2014年
3 杨煜;基于Hadoop MapReduce并行近似谱聚类算法研究与实现[D];云南财经大学;2014年
4 梁彦;基于分布式平台Spark和YARN的数据挖掘算法的并行化研究[D];中山大学;2014年
5 魏书超;基于云计算的聚类算法并行化关键技术研究[D];沈阳航空航天大学;2015年
6 付伟;基于Hadoop的Web日志的分析平台的设计与实现[D];北京邮电大学;2015年
7 瞿卓;基于Hadoop2.0的数据挖掘算法并行化研究[D];广东工业大学;2015年
【二级参考文献】
中国期刊全文数据库 前8条
1 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期
2 王芳;张顺达;冯丹;曾令仿;;对象存储系统中的柔性对象分布策略[J];华中科技大学学报(自然科学版);2007年03期
3 谈华芳;孙丽丽;侯紫峰;;大规模存储中的一个有效的数据放置算法[J];计算机工程;2006年10期
4 张玉芳,毛嘉莉,熊忠阳;一种改进的K-means算法[J];计算机应用;2003年08期
5 王凯;吴泉源;杨树强;;一种多用户MapReduce集群的作业调度算法的设计与实现[J];计算机与现代化;2010年10期
6 刘仲,周兴铭;基于动态区间映射的数据对象布局算法[J];软件学报;2005年11期
7 张圣;;一种基于云计算的关联规则Apriori算法[J];通信技术;2011年06期
8 李远方;邓世昆;闻玉彪;韩月阳;;Hadoop-MapReduce下的PageRank矩阵分块算法[J];计算机技术与发展;2011年08期
中国硕士学位论文全文数据库 前2条
1 钱彦江;大规模数据聚类技术研究与实现[D];电子科技大学;2009年
2 段明秀;层次聚类算法的研究及应用[D];中南大学;2009年
【相似文献】
中国期刊全文数据库 前10条
1 喻占武;郑胜;李忠民;胡滨;;基于对象存储的海量空间数据存储与管理[J];武汉大学学报(信息科学版);2008年05期
2 包文苑;;海量空间数据管理相关关键技术研究[J];科技资讯;2010年08期
3 谭坤龙,傅炳荣,丁文源;基于数据库底层接口的海量空间数据快速操作方法[J];地矿测绘;2004年03期
4 陈再清;建立高效运行海量空间数据库的策略与方法[J];现代测绘;2004年05期
5 王泽根;海量空间数据组织及分布式解决方案[J];地球信息科学;2000年01期
6 赵相伟,许捍卫;海量空间数据组织研究与实践[J];江苏测绘;2002年04期
7 薛涛;刁明光;李建存;邹森忠;;资源环境遥感海量空间数据存储、检索和访问方法[J];国土资源遥感;2013年02期
8 张维理;;海量空间数据提取、整合与制图表达方法概要[J];中国农业科学;2014年16期
9 王浩;喻占武;曾武;潘少明;;基于瓦片寿命和访问热度的海量空间数据缓存置换策略[J];武汉大学学报(信息科学版);2009年06期
10 何嘉珈;;矢栅数据一体化存储技术研究[J];科技资讯;2009年26期
中国重要会议论文全文数据库 前5条
1 陈再清;;建立高效运行海量空间数据库的策略与方法[A];首届长三角科技论坛数字区域建设与地理空间技术论坛优秀论文集[C];2004年
2 张冠军①②;韩刚;蒋捷;;MapXtreme环境中海量空间数据的动态搜索与调用方法[A];中国地理信息系统协会第九届年会论文集[C];2005年
3 许辉熙;何政伟;张新海;但尚铭;汪宙峰;;海量空间数据存储与网络发布初探[A];中国气象学会2006年年会“首届研究生年会”分会场论文集[C];2006年
4 郑冕;朱宝利;吴丽娟;;海量空间数据点边界的快速搜索算法[A];计算机技术与应用进展——全国第17届计算机科学与技术应用(CACIS)学术会议论文集(下册)[C];2006年
5 王良清;洪景峰;汪琼;;江浙海量空间数据库图形漫游速度分析[A];首届长三角科技论坛数字区域建设与地理空间技术论坛优秀论文集[C];2004年
中国重要报纸全文数据库 前3条
1 本报记者 钟泉 通讯员 周欣;我市一科研新成果国内领先[N];湘潭日报;2008年
2 宁薇 张海涛;中地公司软件平台MAPGIS再为“神舟”护航[N];地质勘查导报;2008年
3 记者 吴宝成;中国科学院GIS产业化成果喜人[N];中国测绘报;2003年
中国硕士学位论文全文数据库 前8条
1 张广弟;分布式环境下海量空间数据的存储和并行查询技术研究[D];江西理工大学;2012年
2 鲁新应;海量空间数据库管理技术及其在建设用地管理系统中的应用研究[D];浙江大学;2006年
3 汤杨华;三维GIS中海量空间数据可视化研究[D];长安大学;2009年
4 洪华军;基于开源框架的GIS设计与实现[D];江南大学;2011年
5 何涛;面向海量空间数据并行高效处理的存储模式设计与研究[D];电子科技大学;2014年
6 张红波;海量空间数据管理和分析系统及其在城市规划中应用[D];山东科技大学;2005年
7 韩银锋;基于PC集群矿山海量空间数据并行处理与可视化[D];东北大学;2008年
8 覃泽涛;面向Internet应用的海量空间数据的存储管理系统[D];西安电子科技大学;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026