收藏本站
《电子科技大学》 2013年
收藏 | 手机打开
二维码
手机客户端打开本文

基于hilbert划分的并行矢量数据索引算法研究

李勋  
【摘要】:现代信息技术发展日新月异,数据库技术以及文件系统组织方式随着大数据量的增长发生了巨大的变化。GIS技术将传统的信息技术运用于空间信息领域,其特有的数据模型以及相关处理算法都是和传统的信息技术领域联系在一起的。随着现如今云计算,分布式处理及并行网格计算技术的逐渐成熟,GIS技术及其空间数据的组织方式必将迎来新的变革,迈向进步迎来新的发展阶段。 本论文通过将传统的空间数据库存储技术与当前信息技术的热点技术,分布式存储系统技术相结合,通过运用分布式存储系统来实现空间数据库的相关功能。选用Hadoop开源分布式技术,让空间数据的存储打破传统的基于行列表文件的数据库方式,而是采用HDFS分布式文件系统存储下的并行高可扩展可用性模式方式进行存储。并针对空间数据所固有的特点及相关数据模型相关文件标准等,通过借鉴传统空间数据库中的主要方法R树索引技术,设计并实现了一种针对并行分布式存储环境下的空间数据索引方法。通过采用将Hilbert划分曲线相关原理算法运用于对空间数据集的划分函数上,通过有创意的Hilbert编码方法,将空间数据集通过希尔伯特编码值聚类排序,有效的解决了分布式数据存储环境下的空间数据划分的问题。并在此基础上采用并行计算的框架下构建索引集群。 通过运用MapReduce编程模型来解决R树索引的批量加载构建的问题,为矢量数据提供了一种索引新方法。实验结果分析显示可以几近达到接近线性性能扩展的效果。基于Hilbert划分的并行构建索引方法能有效提高构建的效率。然而,构建的效率并不是R树索引唯一关心的问题,构建的索引质量同样也很重要。基于MapReduce方法生成的R树索引其构建的MBR面积范围以及重叠区域同单节点的构建相比都有了有效的改进。实验也证实了MapReduce方法在处理空间数据的应用当中具有很大的潜力和扩展空间,值得深入研究相关的算法与应用。
【学位授予单位】:电子科技大学
【学位级别】:硕士
【学位授予年份】:2013
【分类号】:TP311.13

【参考文献】
中国期刊全文数据库 前10条
1 詹发新,付海波,苟浩远;GIS地理空间数据共享的探讨[J];北京测绘;2005年03期
2 陈广学,张东,张德,周海燕;网格技术与空间信息共享和服务[J];测绘科学;2005年01期
3 王浩;喻占武;李锐;曾武;;基于开销代价的网络地理信息服务负载均衡算法研究[J];测绘学报;2009年03期
4 王结臣;王豹;胡玮;张辉;;并行空间分析算法研究进展及评述[J];地理与地理信息科学;2011年06期
5 陈占龙;吴信才;谢忠;马丽娜;;GSHR-Tree:一种基于动态空间槽和哈希表的网格环境下的空间索引树[J];地球科学(中国地质大学学报);2010年03期
6 付仲良;刘思远;田宗舜;徐华秒;;基于多级R-tree的分布式空间索引及其查询验证方法研究[J];测绘通报;2012年11期
7 左朝树;刘心松;陈小辉;顾攀;;DPsIR~+:一种基于动态空间槽的分布式并行空间索引树[J];计算机科学;2006年02期
8 周芹;钟耳顺;黄耀欢;;基于分区技术的静态R树索引并行计算技术[J];计算机工程;2009年02期
9 张明波,陆锋,申排伟,程昌秀;R树家族的演变和发展[J];计算机学报;2005年03期
10 杨磊,黄辉,宋涛;桶外排序算法的抽样分点分发策略[J];软件学报;2005年05期
中国博士学位论文全文数据库 前1条
1 徐红波;基于空间填充曲线高维空间查询算法研究[D];哈尔滨理工大学;2010年
中国硕士学位论文全文数据库 前2条
1 刘彪;空间数据库中基于MapReduce的kNN算法研究[D];大连海事大学;2012年
2 文强;空间数据库引擎关键技术研究[D];电子科技大学;2007年
【共引文献】
中国期刊全文数据库 前10条
1 李科;杜琳;游雄;;WebGIS中的空间数据库模型的研究[J];北京测绘;2007年04期
2 刘润涛;郝忠孝;;一种极小化交叠的空间索引结构——MOSI-树[J];北京工业大学学报;2010年10期
3 孙殿柱;朱昌志;李延瑞;;三角网格曲面模型快速分层算法[J];北京航空航天大学学报;2010年03期
4 刘九龙;林黎;程万庆;;天津市地下水源热泵系统适宜性分区[J];吉林大学学报(地球科学版);2012年S1期
5 王锡钢;任伟;李青元;朱翊;孙立坚;;基于K-means聚类距离准则的R树结点分配算法研究[J];测绘科学;2006年05期
6 杨永崇;吴家付;张胜利;王旭星;;基于空间信息网格的数字地图分幅(块)方法[J];测绘科学;2010年02期
7 王家耀;;我国地图制图学与地理信息工程学科发展研究[J];测绘通报;2007年05期
8 胡海驹;;面向电子政务门户的多源地理信息自动化交换方法研究[J];测绘通报;2012年02期
9 赵彬彬;邓敏;李光强;张红;;基于城市形态学原理的面状地物层次索引方法[J];测绘学报;2010年04期
10 龚俊;朱庆;张叶廷;李晓明;周东波;;顾及多细节层次的三维R树索引扩展方法[J];测绘学报;2011年02期
中国重要会议论文全文数据库 前8条
1 周芹;钟耳顺;黄耀欢;郭会;;大型空间数据库的并发索引策略CQR_树[A];中国测绘学会九届四次理事会暨2008年学术年会论文集[C];2008年
2 李科;游雄;杜卫国;;地理信息服务网格关键技术研究[A];第十届中国科协年会论文集(一)[C];2008年
3 刘琳;;地理信息系统发展趋势[A];中国地理信息系统协会第四次会员代表大会暨第十一届年会论文集[C];2007年
4 周芹;李绍俊;李云锦;马柳青;;空间数据库引擎的关键技术及发展[A];中国地理信息系统协会第四次会员代表大会暨第十一届年会论文集[C];2007年
5 李绍俊;周芹;王尔琪;;SuperMap高性能海量空间数据管理策略[A];2009`中国地理信息产业论坛暨第二届教育论坛就业洽谈会论文集[C];2009年
6 张泽宝;张健沛;杨静;;基于R树的空间索引建立方法研究[A];第一届中国高校通信类院系学术研讨会论文集[C];2007年
7 吴凌坤;舒然;王鹏;;R_P-Tree:一种高效紧凑的高维点访问方法[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
8 马卫春;杨友长;;“天地图·安徽”的建设与应用[A];第十四届华东六省一市测绘学会学术交流会论文集[C];2012年
中国博士学位论文全文数据库 前10条
1 张泽宝;空间数据库的索引技术研究[D];哈尔滨工程大学;2009年
2 马纯永;城域景观VRGIS一体化仿真平台研究与实现[D];中国海洋大学;2010年
3 徐红波;基于空间填充曲线高维空间查询算法研究[D];哈尔滨理工大学;2010年
4 刘润涛;基于序的空间数据索引及查询算法研究[D];哈尔滨理工大学;2009年
5 王强;空间信息服务聚合的关键技术研究[D];解放军信息工程大学;2010年
6 张海军;基于大规模语料的中文新词识别技术研究[D];中国科学技术大学;2011年
7 赵彬彬;多尺度矢量地图空间目标匹配方法及其应用研究[D];中南大学;2011年
8 官东;网格环境下的HLA仿真关键问题研究[D];中南大学;2011年
9 赵姗;地理空间信息服务与网格集成理论与方法研究[D];解放军信息工程大学;2011年
10 刘嵘;集群式网格地理信息服务注册中心的构建研究[D];解放军信息工程大学;2011年
中国硕士学位论文全文数据库 前10条
1 周玉科;基于网格环境的空间信息服务集成[D];山东科技大学;2010年
2 路瑞强;基于均值和标准差的空间索引方法研究[D];哈尔滨工程大学;2010年
3 李琳;一种基于多级网格和改进QR-树的混合索引[D];河南理工大学;2010年
4 边健;二维空间中的方向关系合成及反方向关系研究[D];哈尔滨理工大学;2010年
5 于波;分布式并行空间索引机制的研究[D];哈尔滨理工大学;2010年
6 张伟;基于分布式存储的移动GIS技术与应用研究[D];解放军信息工程大学;2010年
7 陈功照;城市地理信息检索服务研究[D];福建师范大学;2010年
8 李湘华;多源异构森林资源数据共享研究[D];中南林业科技大学;2009年
9 胡玉乐;列存储DWMS中的索引关键技术研究[D];东华大学;2011年
10 孙伟华;嵌入式GIS地图数据快速显示算法的研究[D];西安工业大学;2011年
【二级参考文献】
中国期刊全文数据库 前10条
1 王晏民;矢量曲线的特征点提取[J];测绘工程;2002年02期
2 杨靖宇;张永生;董广军;;基于GPU的遥感影像SAM分类算法并行化研究[J];测绘科学;2010年03期
3 杨得志,王杰臣,闾国年;矢量数据压缩的Douglas-Peucker算法的实现与改进[J];测绘通报;2002年07期
4 卢廷军;黄明;;海量栅格数据空间索引与存储的研究[J];测绘通报;2010年10期
5 周鹏;尹菲;;基于云计算技术的GIS软件工程模式[J];测绘通报;2010年11期
6 史文中,郭薇,彭奕彰;一种面向地理信息系统的空间索引方法[J];测绘学报;2001年02期
7 王净,江刚武;无拓扑矢量数据快速压缩算法的研究与实现[J];测绘学报;2003年02期
8 谢顺平,都金康,王腊春,顾国琴;基于游程编码的GIS栅格数据矢量化方法[J];测绘学报;2004年04期
9 喻占武;郑胜;李忠民;;一种混合式P2P下的大规模地形数据传输机制[J];测绘学报;2008年02期
10 刘吉夫,陈棋福,王宝善,宋毅盛,赵雷,黎明;网格(Grid)的一些特点及产生的背景分析[J];地震;2004年02期
中国重要报纸全文数据库 前3条
1 杨崇俊;[N];中国测绘报;2004年
2 刘经南 刘晖;[N];中国测绘报;2004年
3 蔡少华 朱涛;[N];中国测绘报;2004年
中国博士学位论文全文数据库 前2条
1 张泽宝;空间数据库的索引技术研究[D];哈尔滨工程大学;2009年
2 赵春宇;高性能并行GIS中矢量空间数据存取与处理关键技术研究[D];武汉大学;2006年
中国硕士学位论文全文数据库 前3条
1 戴波;并行算法及其应用[D];电子科技大学;2002年
2 胡冰;遥感图像融合并行算法的研究及实现[D];国防科学技术大学;2006年
3 张丽丽;支持空间分析的并行算法的研究与实现[D];南京航空航天大学;2008年
【相似文献】
中国期刊全文数据库 前10条
1 张琪玉;;关于索引学研究和索引工作开展的设想与建议[J];江苏图书馆学报;1993年01期
2 郭瑞杰;程学旗;许洪波;王斌;丁国栋;;一种基于动态平衡树的在线索引快速构建方法[J];计算机研究与发展;2008年10期
3 曾永宁,童頫;一种新的多属性索引法——区域组合属性索引[J];计算机应用与软件;1987年02期
4 谢立宏 ,贺贵明 ,任小荣;OLAP数据的索引[J];微型机与应用;2002年11期
5 黄崇本;陶剑文;程光华;;一种面向图包容搜索的图索引模型[J];计算机应用;2008年02期
6 李萍;基于Realms的主存R树索引的实现[J];计算机应用;2003年05期
7 靳明星;汤小春;李琴琴;;基于TB+树云服务性能监控数据索引算法研究[J];科学技术与工程;2012年04期
8 陈一阳,曾琤,莫里斯.F.陶伯;索引(美国百科全书〈1980年版〉条目选译)[J];广东图书馆学刊;1984年04期
9 杜国明,龚健雅,陈晓翔;IP*-索引在时间序列反向查询中的应用[J];计算机工程;2003年07期
10 樊颖莉;汪晓庆;王智学;;XML路径索引构造方法研究[J];军事通信技术;2005年04期
中国重要会议论文全文数据库 前10条
1 郭瑞杰;程学旗;许洪波;王斌;丁国栋;;一种基于动态平衡树的在线索引快速构建方法[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
2 张帆;王斌;王国仁;;一种面向近似查询的图数据库索引方法[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
3 张海涛;张书亮;姜杰;顾燕;;基于EKR+的GML整体索引[A];第四届海峡两岸GIS发展研讨会暨中国GIS协会第十届年会论文集[C];2006年
4 严梅;郭瑞强;贾晓辉;乐嘉锦;;基于S&V索引的XML文档查询[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
5 周项敏;王国仁;于戈;;度量空间中索引方法的研究[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
6 郑铁然;韩纪庆;;汉语语音检索中基于音节的索引方法研究[A];第八届全国人机语音通讯学术会议论文集[C];2005年
7 王洪俊;施水才;俞士汶;肖诗斌;;人民日报标注语料的索引方法研究[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
8 王洋;胡斌;黄坚;夏榆滨;翁敬农;;地球影像数据的组织、索引及其实现[A];中国地理信息系统协会第四次会员代表大会暨第十一届年会论文集[C];2007年
9 张延华;王国刚;李鹏辉;刘彦春;;基于XML的QEIP-ES构建方法研究[A];第六届全国信息获取与处理学术会议论文集(2)[C];2008年
10 刘图招;赵静;陈立军;杨冬青;唐世渭;;SDI系统中的高效查询索引[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
中国重要报纸全文数据库 前1条
1 张亚斌实习生 张华;南充市民挑战两千年传统汉字索引法[N];南充日报;2008年
中国博士学位论文全文数据库 前8条
1 杨峰;分布式并行索引研究[D];电子科技大学;2003年
2 范颖捷;XML索引与查询的若干关键技术研究[D];复旦大学;2008年
3 张博;基于XML索引和缓存的查询优化[D];复旦大学;2008年
4 赵伶俐;面向城镇化数据整合的数据索引方法研究[D];中南大学;2010年
5 林伟华;多重近似空间索引及其相关检索技术研究[D];华中科技大学;2009年
6 丁晓锋;移动计算环境下非确定数据的索引与查询方法研究[D];华中科技大学;2008年
7 张翀;基于对等计算的分布式时空索引技术研究[D];国防科学技术大学;2011年
8 刘德刚;对等计算环境中矢量空间数据索引模型与查询算法研究[D];华中科技大学;2009年
中国硕士学位论文全文数据库 前10条
1 李颖;基于多重近似索引的空间多路连接[D];华中科技大学;2011年
2 程崇燕;基于XML文件和查询特点的索引算法的比较与实现[D];天津师范大学;2008年
3 颜阳;面向移动Web搜索的IR-tree混合索引模型的研究与实现[D];东北师范大学;2013年
4 方昭辉;基于内容的图像检索中索引的研究与实现[D];南京师范大学;2004年
5 李飞;带时间属性的XML访问控制索引方案[D];山东大学;2009年
6 李甲;基于特征索引的图查询研究[D];燕山大学;2011年
7 张吉根;基于多次映射的金字塔索引研究[D];华中科技大学;2006年
8 李勋;基于hilbert划分的并行矢量数据索引算法研究[D];电子科技大学;2013年
9 李涛;服务搜索引擎中服务索引及语义索引功能的设计与实现[D];北京邮电大学;2013年
10 崔凯;混合结构闪存索引研究[D];中国科学技术大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026