收藏本站
《电子科技大学》 2003年
收藏 | 手机打开
二维码
手机客户端打开本文

分布式并行索引研究

杨峰  
【摘要】: 随着计算机应用领域的不断扩大,数据的规模越来越大,查询也越来越复杂,分布式并行索引以其高性能而逐渐成为解决这类复杂问题的有效手段,并且成为数据挖掘、数据仓库、网格计算和普适计算等研究中的一个热点问题。本文首先对分布式并行索引的研究现状做了详细的分析,在此基础上,提出一种新的、全面的分布式并行索引处理框架—DPIF,并对相关的索引结构、索引数据分配、索引复制策略、索引数据迁移和重构进行了深入研究。 在对索引结构的研究中,我们提出一种适合于分布式并行的新索引树结构——DPB+-Tree,此索引树以B+树和hash结构为基础,其叶子结点被组织为有n个散列表元的hash表链,并且从树的根结点到叶子结点,结点的副本数量逐渐减少。DPB+-Tree综合了B+树和hash表结构的优点,同时考虑了副本更新、数据迁移和负载均衡等各个方面的性能。 在DPB+-Tree结构的基础上,我们研究了索引数据分配和副本分配策略。其中索引数据分配采用了基于值范围分片的策略,并通过调整范围的上下界来调整每个分片单元的大小。而副本的分配是动态的,其处理准则是根据系统的访问统计数据,触发对系统副本的添加或者是减少,或者是副本的迁移,从而达到最佳的负载平衡。 在索引复制策略的研究中,首先考虑了副本复制的原则,其包括更新/检索比、节点机负载和可靠性需求。然后描述了索引副本的建立过程和更新机制,其中索引副本的建立允许一个新的副本学习先前的副本,而索引副本更新主要基于消息来完成。此外,根据DPB+-Tree中索引数据的多副本特性,采用了一种模糊调度机制来进行副本间的任务调度,以改善系统的负载均衡和响应特性。 接下来对索引数据迁移和重构进行了研究。首先根据DPB+-Tree的特点,提出一种开销较小的索引重构策略,此策略通常情况下只会影响索引的两级。然后提出一种纯分布的基于阈值的数据迁移策略,通过两个阈值的设置,来判断节点机上的索引负载系数是否超过了临界值并且有别的节点能够接收数据,若是则触发数据迁移,数据迁移的过程主要由结点迁移来完成。 WP=6 最后,为了验证DPB+-Tree系统的有效性及评估其性能,我们在响应时间、吞吐率、资源利用率和负载平衡度四个方面对DPB+-Tree进行了大量的模拟研究。模拟结果表明,DPB+-Tree系统不仅极大地提高了系统查询效率,而且还较好地解决了分布式并行索引系统中索引更新开销问题,在与其它相关策略,如CPB方法的比较中具有明显优势。
【学位授予单位】:电子科技大学
【学位级别】:博士
【学位授予年份】:2003
【分类号】:TP311.13

【引证文献】
中国博士学位论文全文数据库 前1条
1 赵春宇;高性能并行GIS中矢量空间数据存取与处理关键技术研究[D];武汉大学;2006年
中国硕士学位论文全文数据库 前5条
1 杨玉军;时态索引技术及算法的研究[D];中南林业科技大学;2007年
2 马丽娜;面向大规模空间数据的空间计算模式研究与实现[D];中国地质大学;2011年
3 李英本;基于信息网格的空间数据查询[D];辽宁工程技术大学;2005年
4 贾学芳;JIFEX中工程数据库管理系统的设计与实现[D];大连理工大学;2006年
5 张玲玲;分布式WEB文档全文索引关键技术研究[D];哈尔滨工业大学;2006年
【参考文献】
中国期刊全文数据库 前4条
1 杨峰,刘心松,邱元杰,刘丹;电网调度自动化的任务服务模型和调度算法研究[J];电子学报;2002年12期
2 姚卿达,杨桂桢,张俊欣;RFN-B~+树索引文件及其有效性[J];软件学报;1998年11期
3 杨峰,刘心松,邱元杰;分布式并行视频服务器设计技术[J];小型微型计算机系统;2000年11期
4 杨峰,刘心松,邱元杰,唐续;电网自动化中的高可靠分布式任务调度算法[J];小型微型计算机系统;2002年06期
【共引文献】
中国期刊全文数据库 前10条
1 CHUNG Warn ill,CHOI Jun ho,BAE Hae young;An efficient selectivity estimation method for spatial query optimization with topological relationships[J];重庆邮电学院学报(自然科学版);2004年05期
2 ;THREE DIMENSIONAL DATA STRUCTURE AND DATA MODEL[J];Geo-Spatial Information Science;2000年03期
3 周宁;丁琦;;开放实时数据库及其在调度自动化系统中的应用[J];电网技术;2006年S2期
4 罗心,乐晓波;延缓B-树生成过程中结点分裂的算法[J];湖南教育学院学报;2000年02期
5 徐国定;;查询语句语义优化的一个方法[J];华东师范大学学报(自然科学版);1987年02期
6 陈桂林,王永成,韩客松,王刚;一种高效的中文电子词表数据结构[J];计算机研究与发展;2000年01期
7 杨峰,刘心松,左朝树,唐续;分布式并行服务器透明性及任务调度研究[J];计算机研究与发展;2003年09期
8 庞引明,谈子敬,汪卫;XML的并发加锁协议[J];计算机研究与发展;2004年07期
9 ;第四章 索引结构[J];计算机工程与应用;1981年Z2期
10 董相瑞,史树民;B+树上并发操作的实现[J];计算机工程与应用;1986年03期
中国重要会议论文全文数据库 前7条
1 周宁;丁琦;;开放实时数据库及其在调度自动化系统中的应用[A];2006电力系统自动化学术交流研讨大会论文集[C];2006年
2 马文骞;王珊;;DBMS进程结构研究及多线索DBMS的设计与实现[A];第十一届全国数据库学术会议论文集[C];1993年
3 刘云生;余利平;;内存数据库组织的Hashing方法[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
4 赵锴;李建中;高宏;骆吉洲;李慧婷;熊蜀光;陈海坤;;My_SSDB:一个压缩科学统计数据库原型系统的实现[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
5 贾均刚;张炜;高宏;;TIDC:一种基于属性划分的高频度关系数据压缩存储方法[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
6 王振玺;乐嘉锦;王梅;刘国华;;列存储数据区级压缩模式与压缩策略选择方法[A];NDBC2010第27届中国数据库学术会议论文集A辑一[C];2010年
7 胡玉乐;孙莉;王梅;;RB~+树——一种列存储数据的树型索引结构[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
中国博士学位论文全文数据库 前10条
1 许浒;时空数据库聚集查询算法研究[D];华中科技大学;2010年
2 徐红波;基于空间填充曲线高维空间查询算法研究[D];哈尔滨理工大学;2010年
3 徐昶;基于闪存的数据库存储引擎技术研究[D];浙江大学;2011年
4 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
5 罗德安;一种基于关系数据库的空间数据模型及其特殊应用[D];西南交通大学;2001年
6 郭斯羽;动态数据中的数据挖掘研究[D];浙江大学;2002年
7 朱铁稳;基于均匀空间离散域对象的空间数据库关键技术研究[D];中国人民解放军国防科学技术大学;2002年
8 阳国贵;对象关系数据库中若干关键技术的研究[D];中国人民解放军国防科学技术大学;2000年
9 董云卫;工作流管理系统的事务建模研究[D];西北大学;2004年
10 袁贞明;基于样例的空间数据检索技术研究[D];浙江大学;2005年
中国硕士学位论文全文数据库 前10条
1 程晓;数据仓库中基于位图索引查询优化的研究[D];郑州大学;2010年
2 路瑞强;基于均值和标准差的空间索引方法研究[D];哈尔滨工程大学;2010年
3 马伟;基于FD-tree的闪存数据库索引技术研究[D];浙江大学;2011年
4 杨玉军;时态索引技术及算法的研究[D];中南林业科技大学;2007年
5 韩思慧;列存储DWMS中数据字典设计与实现[D];东华大学;2011年
6 王振玺;DWMS中压缩技术的研究与实现[D];东华大学;2011年
7 胡玉乐;列存储DWMS中的索引关键技术研究[D];东华大学;2011年
8 谭长德;南岳衡山景区网络地理信息系统的研究与设计[D];电子科技大学;2010年
9 冯知一;基于数据仓库的联机分析处理系统关键技术研究与实现[D];西安电子科技大学;2009年
10 李方泉;嵌入式数据库在烟草零售信息终端中的应用[D];南京理工大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 张丽芬,王晓华,胡景松,宋维佳,龙斌;基于网格划分的几种空间索引[J];北京理工大学学报;2004年02期
2 夏英;多维空间数据索引结构的并发控制方案[J];重庆邮电学院学报(自然科学版);2002年01期
3 杨长保,王开义,马生忠;一种最短路径分析优化算法的实现[J];吉林大学学报(信息科学版);2002年02期
4 东凯,方裕;空间数据库模型概念与结构研究[J];地理信息世界;2004年02期
5 王杰臣,毛海城,杨得志;图的节点-弧段联合结构表示法及其在GIS最优路径选取中的应用[J];测绘学报;2000年01期
6 史文中,郭薇,彭奕彰;一种面向地理信息系统的空间索引方法[J];测绘学报;2001年02期
7 王杰臣,张伟,毛海城;GIS网络分析的图简化方法研究[J];测绘学报;2001年03期
8 陆锋;最短路径算法:分类体系与研究进展[J];测绘学报;2001年03期
9 任建武,闾国年,王桥;多层体系GIS与模型集成研究[J];测绘学报;2003年02期
10 谈国新;一体化空间数据结构及其索引机制研究[J];测绘学报;1998年04期
中国博士学位论文全文数据库 前10条
1 吴升;分布式GIS组件平台的研究与实践[D];解放军信息工程大学;2001年
2 蒋江;异构集群系统中基于进程迁移机制的负载平衡算法的研究[D];国防科学技术大学;2002年
3 董鹏;分布式空间信息的高效查询与分析系统研究[D];中国科学院研究生院(遥感应用研究所);2003年
4 朱铁稳;基于均匀空间离散域对象的空间数据库关键技术研究[D];中国人民解放军国防科学技术大学;2002年
5 赵东;网格计算环境中若干关键技术的研究[D];电子科技大学;2003年
6 蔡砥;网络计算环境下空间分析的计算模式研究[D];华东师范大学;2004年
7 程起敏;基于内容的遥感影像库检索关键技术研究[D];中国科学院研究生院(遥感应用研究所);2004年
8 陈珉;分布式空间数据库主动数据更新研究[D];武汉大学;2004年
9 黄金贵;网络并行计算环境中基于多处理机任务的调度研究[D];中南大学;2003年
10 刘丽艳;基于数据网格的海量数据管理若干关键技术研究[D];中国科学院研究生院(计算技术研究所);2005年
中国硕士学位论文全文数据库 前10条
1 李勤爽;基于多源遥感信息的WebGIS的设计与实现[D];解放军信息工程大学;2001年
2 成海生;分布式水轮机CAD系统框架研究及应用[D];河海大学;2002年
3 郑琪;有效时间不确定的时态数据的关联规则挖掘研究[D];暨南大学;2003年
4 任淑霞;基于电子病历的时态数据库技术的研究[D];暨南大学;2003年
5 骆炎民;基于XML的WebGIS及其数据共享的研究[D];华侨大学;2003年
6 易隆;基于.NET框架的Web应用系统开发与研究[D];武汉理工大学;2003年
7 李琳;.NET开发平台核心服务的研究与应用[D];武汉理工大学;2003年
8 李爽;地球科学数据网格及其对地理科学的影响[D];河南大学;2003年
9 於建峰;网络环境下目标空间数据库应用系统的研究与实现[D];中国人民解放军信息工程大学;2003年
10 应新洋;地理信息系统中拓扑空间关系及空间推理研究[D];重庆大学;2003年
【二级引证文献】
中国期刊全文数据库 前4条
1 黎心灵;卢刚;;并行GIS研究综述[J];测绘标准化;2012年02期
2 王结臣;王豹;胡玮;张辉;;并行空间分析算法研究进展及评述[J];地理与地理信息科学;2011年06期
3 周玉科;马廷;周成虎;高锡章;范俊甫;;MySQL集群与MPI的并行空间分析系统设计与实验[J];地球信息科学学报;2012年04期
4 郭立帅;沈婕;朱伟;;线要素化简算法的时间复杂度分析[J];测绘科学技术学报;2012年03期
中国博士学位论文全文数据库 前5条
1 王强;空间信息服务聚合的关键技术研究[D];解放军信息工程大学;2010年
2 吴长伟;森林监护移动GIS及火灾扑救设备调度关键技术研究[D];东北林业大学;2011年
3 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
4 方雷;基于云计算的土地资源服务高效处理平台关键技术探索与研究[D];浙江大学;2011年
5 曾志;云格环境下海量高分遥感影像资源与服务高效调配研究[D];浙江大学;2012年
中国硕士学位论文全文数据库 前5条
1 刘阿亭;基于Silververlight的3D数字地球模型构建关键技术及应用研究[D];江西理工大学;2011年
2 刘潺;月球探测空间数据集成与检索技术研究[D];国防科学技术大学;2011年
3 黄雪英;面向虚拟试验的工程数据库技术研究[D];西北工业大学;2007年
4 洪智华;工程数据库管理系统ENGDBS文件层的设计与实现[D];大连理工大学;2010年
5 李潇;基于多核平台的R树窗口查询算法优化探讨[D];昆明理工大学;2012年
【二级参考文献】
中国期刊全文数据库 前4条
1 王学超,王玉生;分布式配电网调度与管理自动化系统的设计开发[J];电力系统自动化;1999年07期
2 赵谷泉;变电所综合自动化的结构模式及通信总线选择[J];电力自动化设备;1999年05期
3 张怡,张拥军,彭宇行,陈福接;一种支持QoS的连续媒体CPU调度方法[J];计算机研究与发展;2000年02期
4 刘衡竹,胡衡江,陈福接;VOD服务器设计的支撑技术[J];计算机工程与科学;1999年03期
【相似文献】
中国期刊全文数据库 前10条
1 白化文;新出版的优秀索引著作——《宋人传记资料索引补编》[J];中国典籍与文化;1995年01期
2 冯艳娟;美国《生物学文摘》创刊以来的变化[J];医学情报工作;1995年01期
3 张琪玉;推广文献索引计算机编制法是促进我国索引事业发展的一项重要措施[J];图书与情报;1996年04期
4 张效赤;中美百科全书索引体系的比较研究[J];大学图书馆学报;1998年06期
5 胡雪梅;Sybase数据库系统性能优化[J];电信技术;2003年02期
6 刘志敏;张震江;;军字一号数据库索引的应用与维护探讨[J];医疗设备信息;2006年07期
7 宋金平;;数据结构中几种存储结构的比较[J];集宁师专学报;2006年04期
8 蔡贵华;;《室名别号索引》误例一则[J];文献;1990年03期
9 秦江;编制专科索引为临床医学服务[J];图书馆;1994年02期
10 黄筱玲;近年分类和索引的理论进展[J];图书馆理论与实践;1996年02期
中国重要会议论文全文数据库 前10条
1 ;索引[A];第七届全国烧伤外科学术会议论文汇编[C];2004年
2 ;索引[A];第八届全国发光分析暨动力学分析学术研讨会论文集[C];2005年
3 ;索引[A];中华医学会第九届全国眼科学术大会论文汇编[C];2004年
4 叶涛;;计算机辅助编制中文索引的探索与实践[A];多出精品 多出人才——中国编辑学会第八届年会论文集[C];2003年
5 王晓辉;王柏;;通过有效使用索引优化Oracle应用系统性能[A];第九届全国青年通信学术会议论文集[C];2004年
6 ;索引[A];2000全国肿瘤学术大会论文集[C];2000年
7 ;作者文章索引[A];中国地球物理2010——中国地球物理学会第二十六届年会、中国地震学会第十三次学术大会论文集[C];2010年
8 ;论文作者索引[A];海峡两岸地理学术研讨会暨2001年学术年会论文摘要集[C];2001年
9 聂焱;;附录一 王希杰修辞思想研究文献(部分)索引[A];王希杰修辞思想研究[C];2004年
10 ;索引[A];第十届全国计算(机)化学学术会议论文摘要集[C];2009年
中国重要报纸全文数据库 前10条
1 ;整理SQL Server的索引碎片[N];电脑报;2004年
2 江苏 赵江;快工也能出细活[N];电脑报;2002年
3 ;Yahoo增强索引对抗Google[N];计算机世界;2004年
4 记者 余传诗;上海重新影印《申报》 预计明年初出版[N];中华读书报;2007年
5 安平秋;《史记》研究的新贡献[N];中华读书报;2002年
6 栾贵明;从《十三经索引》说起[N];光明日报;2005年
7 本报记者 范俊;第6城市群探索引资新路[N];国际金融报;2004年
8 四川 张悦;整理和重建分析比较[N];电脑报;2004年
9 唐旭东;崔蒙;手工检索医学信息[N];中国医药报;2003年
10 王坤宁;书博会现《申报》“巨无霸”[N];中国新闻出版报;2008年
中国博士学位论文全文数据库 前10条
1 杨峰;分布式并行索引研究[D];电子科技大学;2003年
2 路燕;基于多DTD的XML查询技术研究[D];复旦大学;2003年
3 徐海渊;基于XML的动态信息触发机制的研究[D];中国人民解放军国防科学技术大学;2002年
4 李昊旻;电子病历的标准化结构化方法研究及实践[D];浙江大学;2007年
5 徐林昊;对等计算系统中的相似查询处理研究[D];复旦大学;2005年
6 叶焕倬;三维运动目标的数据组织与管理[D];武汉大学;2004年
7 吴宗大;多媒体查询语言及其查询处理方法研究[D];华中科技大学;2009年
8 王晨;结构数据挖掘与处理的若干问题的研究[D];复旦大学;2005年
9 叶常春;基于Web的无线导航服务技术及其空间数据组织方法研究[D];国防科学技术大学;2004年
10 叶航军;面向大规模图像库的索引和检索机制研究[D];清华大学;2003年
中国硕士学位论文全文数据库 前10条
1 何芳;基于模式的XML查询重写及索引技术研究[D];中南大学;2005年
2 陈福明;快速报文分类算法的研究与实现[D];中国地质大学(北京);2006年
3 边爽;智能异构数据集成系统中性能优化方法的研究[D];大连海事大学;2005年
4 魏玲玲;粗关系数据库查询模型及其应用[D];南昌大学;2007年
5 董建设;基于HTML标记分析及中文切词的网页索引研究与实现[D];兰州理工大学;2003年
6 徐继刚;ZXSS10 A200内存数据库快速索引算法的实现[D];南京理工大学;2004年
7 陈冬霞;XML数据查询技术研究[D];南京师范大学;2005年
8 刘柯;J2EE环境中透明持久存储优化及在JDO中的实现[D];湖南大学;2005年
9 薛竹飙;实时内存数据库关键技术的研究与实现[D];东南大学;2006年
10 蒋社想;基于文件系统的PROLOG数据持久化研究与实现[D];安徽理工大学;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026