收藏本站
《电子科技大学》 2003年
收藏 | 手机打开
二维码
手机客户端打开本文

分布式并行索引研究

杨峰  
【摘要】: 随着计算机应用领域的不断扩大,数据的规模越来越大,查询也越来越复杂,分布式并行索引以其高性能而逐渐成为解决这类复杂问题的有效手段,并且成为数据挖掘、数据仓库、网格计算和普适计算等研究中的一个热点问题。本文首先对分布式并行索引的研究现状做了详细的分析,在此基础上,提出一种新的、全面的分布式并行索引处理框架—DPIF,并对相关的索引结构、索引数据分配、索引复制策略、索引数据迁移和重构进行了深入研究。 在对索引结构的研究中,我们提出一种适合于分布式并行的新索引树结构——DPB+-Tree,此索引树以B+树和hash结构为基础,其叶子结点被组织为有n个散列表元的hash表链,并且从树的根结点到叶子结点,结点的副本数量逐渐减少。DPB+-Tree综合了B+树和hash表结构的优点,同时考虑了副本更新、数据迁移和负载均衡等各个方面的性能。 在DPB+-Tree结构的基础上,我们研究了索引数据分配和副本分配策略。其中索引数据分配采用了基于值范围分片的策略,并通过调整范围的上下界来调整每个分片单元的大小。而副本的分配是动态的,其处理准则是根据系统的访问统计数据,触发对系统副本的添加或者是减少,或者是副本的迁移,从而达到最佳的负载平衡。 在索引复制策略的研究中,首先考虑了副本复制的原则,其包括更新/检索比、节点机负载和可靠性需求。然后描述了索引副本的建立过程和更新机制,其中索引副本的建立允许一个新的副本学习先前的副本,而索引副本更新主要基于消息来完成。此外,根据DPB+-Tree中索引数据的多副本特性,采用了一种模糊调度机制来进行副本间的任务调度,以改善系统的负载均衡和响应特性。 接下来对索引数据迁移和重构进行了研究。首先根据DPB+-Tree的特点,提出一种开销较小的索引重构策略,此策略通常情况下只会影响索引的两级。然后提出一种纯分布的基于阈值的数据迁移策略,通过两个阈值的设置,来判断节点机上的索引负载系数是否超过了临界值并且有别的节点能够接收数据,若是则触发数据迁移,数据迁移的过程主要由结点迁移来完成。 WP=6 最后,为了验证DPB+-Tree系统的有效性及评估其性能,我们在响应时间、吞吐率、资源利用率和负载平衡度四个方面对DPB+-Tree进行了大量的模拟研究。模拟结果表明,DPB+-Tree系统不仅极大地提高了系统查询效率,而且还较好地解决了分布式并行索引系统中索引更新开销问题,在与其它相关策略,如CPB方法的比较中具有明显优势。
【学位授予单位】:电子科技大学
【学位级别】:博士
【学位授予年份】:2003
【分类号】:TP311.13

知网文化
【引证文献】
中国博士学位论文全文数据库 前1条
1 赵春宇;高性能并行GIS中矢量空间数据存取与处理关键技术研究[D];武汉大学;2006年
中国硕士学位论文全文数据库 前5条
1 杨玉军;时态索引技术及算法的研究[D];中南林业科技大学;2007年
2 马丽娜;面向大规模空间数据的空间计算模式研究与实现[D];中国地质大学;2011年
3 李英本;基于信息网格的空间数据查询[D];辽宁工程技术大学;2005年
4 贾学芳;JIFEX中工程数据库管理系统的设计与实现[D];大连理工大学;2006年
5 张玲玲;分布式WEB文档全文索引关键技术研究[D];哈尔滨工业大学;2006年
【参考文献】
中国期刊全文数据库 前5条
1 杨峰,刘心松,邱元杰,刘丹;电网调度自动化的任务服务模型和调度算法研究[J];电子学报;2002年12期
2 杨峰;刘心松;罗朝劲;;分布式并行网络数据存储技术[J];计算机科学;2002年12期
3 姚卿达,杨桂桢,张俊欣;RFN-B~+树索引文件及其有效性[J];软件学报;1998年11期
4 杨峰,刘心松,邱元杰;分布式并行视频服务器设计技术[J];小型微型计算机系统;2000年11期
5 杨峰,刘心松,邱元杰,唐续;电网自动化中的高可靠分布式任务调度算法[J];小型微型计算机系统;2002年06期
【共引文献】
中国期刊全文数据库 前10条
1 CHUNG Warn ill,CHOI Jun ho,BAE Hae young;An efficient selectivity estimation method for spatial query optimization with topological relationships[J];重庆邮电学院学报(自然科学版);2004年05期
2 ;THREE DIMENSIONAL DATA STRUCTURE AND DATA MODEL[J];Geo-Spatial Information Science;2000年03期
3 周宁;丁琦;;开放实时数据库及其在调度自动化系统中的应用[J];电网技术;2006年S2期
4 罗心,乐晓波;延缓B-树生成过程中结点分裂的算法[J];湖南教育学院学报;2000年02期
5 李长兵;;电网调度自动化实时信息分析与评估系统研究[J];广东科技;2013年14期
6 张斐;;一种国外预测网络社区发展趋势的新方法[J];才智;2013年06期
7 江克勤;吴海峰;程玉胜;;《数据结构》中B-树的删除算法的实现[J];电脑知识与技术;2014年16期
8 徐国定;;查询语句语义优化的一个方法[J];华东师范大学学报(自然科学版);1987年02期
9 陈桂林,王永成,韩客松,王刚;一种高效的中文电子词表数据结构[J];计算机研究与发展;2000年01期
10 杨峰,刘心松,左朝树,唐续;分布式并行服务器透明性及任务调度研究[J];计算机研究与发展;2003年09期
中国重要会议论文全文数据库 前7条
1 周宁;丁琦;;开放实时数据库及其在调度自动化系统中的应用[A];2006电力系统自动化学术交流研讨大会论文集[C];2006年
2 马文骞;王珊;;DBMS进程结构研究及多线索DBMS的设计与实现[A];第十一届全国数据库学术会议论文集[C];1993年
3 刘云生;余利平;;内存数据库组织的Hashing方法[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
4 赵锴;李建中;高宏;骆吉洲;李慧婷;熊蜀光;陈海坤;;My_SSDB:一个压缩科学统计数据库原型系统的实现[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
5 贾均刚;张炜;高宏;;TIDC:一种基于属性划分的高频度关系数据压缩存储方法[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
6 王振玺;乐嘉锦;王梅;刘国华;;列存储数据区级压缩模式与压缩策略选择方法[A];NDBC2010第27届中国数据库学术会议论文集A辑一[C];2010年
7 胡玉乐;孙莉;王梅;;RB~+树——一种列存储数据的树型索引结构[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
中国博士学位论文全文数据库 前10条
1 许浒;时空数据库聚集查询算法研究[D];华中科技大学;2010年
2 徐红波;基于空间填充曲线高维空间查询算法研究[D];哈尔滨理工大学;2010年
3 徐昶;基于闪存的数据库存储引擎技术研究[D];浙江大学;2011年
4 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
5 罗德安;一种基于关系数据库的空间数据模型及其特殊应用[D];西南交通大学;2001年
6 郭斯羽;动态数据中的数据挖掘研究[D];浙江大学;2002年
7 朱铁稳;基于均匀空间离散域对象的空间数据库关键技术研究[D];中国人民解放军国防科学技术大学;2002年
8 阳国贵;对象关系数据库中若干关键技术的研究[D];中国人民解放军国防科学技术大学;2000年
9 董云卫;工作流管理系统的事务建模研究[D];西北大学;2004年
10 袁贞明;基于样例的空间数据检索技术研究[D];浙江大学;2005年
中国硕士学位论文全文数据库 前10条
1 程晓;数据仓库中基于位图索引查询优化的研究[D];郑州大学;2010年
2 路瑞强;基于均值和标准差的空间索引方法研究[D];哈尔滨工程大学;2010年
3 马伟;基于FD-tree的闪存数据库索引技术研究[D];浙江大学;2011年
4 杨玉军;时态索引技术及算法的研究[D];中南林业科技大学;2007年
5 韩思慧;列存储DWMS中数据字典设计与实现[D];东华大学;2011年
6 王振玺;DWMS中压缩技术的研究与实现[D];东华大学;2011年
7 胡玉乐;列存储DWMS中的索引关键技术研究[D];东华大学;2011年
8 谭长德;南岳衡山景区网络地理信息系统的研究与设计[D];电子科技大学;2010年
9 冯知一;基于数据仓库的联机分析处理系统关键技术研究与实现[D];西安电子科技大学;2009年
10 李方泉;嵌入式数据库在烟草零售信息终端中的应用[D];南京理工大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 张丽芬,王晓华,胡景松,宋维佳,龙斌;基于网格划分的几种空间索引[J];北京理工大学学报;2004年02期
2 夏英;多维空间数据索引结构的并发控制方案[J];重庆邮电学院学报(自然科学版);2002年01期
3 杨长保,王开义,马生忠;一种最短路径分析优化算法的实现[J];吉林大学学报(信息科学版);2002年02期
4 东凯,方裕;空间数据库模型概念与结构研究[J];地理信息世界;2004年02期
5 王杰臣,毛海城,杨得志;图的节点-弧段联合结构表示法及其在GIS最优路径选取中的应用[J];测绘学报;2000年01期
6 史文中,郭薇,彭奕彰;一种面向地理信息系统的空间索引方法[J];测绘学报;2001年02期
7 王杰臣,张伟,毛海城;GIS网络分析的图简化方法研究[J];测绘学报;2001年03期
8 陆锋;最短路径算法:分类体系与研究进展[J];测绘学报;2001年03期
9 任建武,闾国年,王桥;多层体系GIS与模型集成研究[J];测绘学报;2003年02期
10 谈国新;一体化空间数据结构及其索引机制研究[J];测绘学报;1998年04期
中国博士学位论文全文数据库 前10条
1 吴升;分布式GIS组件平台的研究与实践[D];解放军信息工程大学;2001年
2 蒋江;异构集群系统中基于进程迁移机制的负载平衡算法的研究[D];国防科学技术大学;2002年
3 董鹏;分布式空间信息的高效查询与分析系统研究[D];中国科学院研究生院(遥感应用研究所);2003年
4 朱铁稳;基于均匀空间离散域对象的空间数据库关键技术研究[D];中国人民解放军国防科学技术大学;2002年
5 赵东;网格计算环境中若干关键技术的研究[D];电子科技大学;2003年
6 蔡砥;网络计算环境下空间分析的计算模式研究[D];华东师范大学;2004年
7 程起敏;基于内容的遥感影像库检索关键技术研究[D];中国科学院研究生院(遥感应用研究所);2004年
8 陈珉;分布式空间数据库主动数据更新研究[D];武汉大学;2004年
9 黄金贵;网络并行计算环境中基于多处理机任务的调度研究[D];中南大学;2003年
10 刘丽艳;基于数据网格的海量数据管理若干关键技术研究[D];中国科学院研究生院(计算技术研究所);2005年
中国硕士学位论文全文数据库 前10条
1 李勤爽;基于多源遥感信息的WebGIS的设计与实现[D];解放军信息工程大学;2001年
2 成海生;分布式水轮机CAD系统框架研究及应用[D];河海大学;2002年
3 郑琪;有效时间不确定的时态数据的关联规则挖掘研究[D];暨南大学;2003年
4 任淑霞;基于电子病历的时态数据库技术的研究[D];暨南大学;2003年
5 骆炎民;基于XML的WebGIS及其数据共享的研究[D];华侨大学;2003年
6 易隆;基于.NET框架的Web应用系统开发与研究[D];武汉理工大学;2003年
7 李琳;.NET开发平台核心服务的研究与应用[D];武汉理工大学;2003年
8 李爽;地球科学数据网格及其对地理科学的影响[D];河南大学;2003年
9 於建峰;网络环境下目标空间数据库应用系统的研究与实现[D];中国人民解放军信息工程大学;2003年
10 应新洋;地理信息系统中拓扑空间关系及空间推理研究[D];重庆大学;2003年
【二级引证文献】
中国期刊全文数据库 前9条
1 黎心灵;卢刚;;并行GIS研究综述[J];测绘标准化;2012年02期
2 王结臣;王豹;胡玮;张辉;;并行空间分析算法研究进展及评述[J];地理与地理信息科学;2011年06期
3 周玉科;马廷;周成虎;高锡章;范俊甫;;MySQL集群与MPI的并行空间分析系统设计与实验[J];地球信息科学学报;2012年04期
4 敖杰刚;徐齐行;;分布式GML空间数据库概述[J];测绘标准化;2012年04期
5 王庆刚;田生军;范协裕;杨延青;;图层级矢量地图裁剪计算模式与算法策略[J];地球信息科学学报;2013年04期
6 杨宜舟;吴立新;郭甲腾;李志锋;刘善军;;一种实现拓扑关系高效并行计算的矢量数据划分方法[J];地理与地理信息科学;2013年04期
7 郭立帅;沈婕;朱伟;;线要素化简算法的时间复杂度分析[J];测绘科学技术学报;2012年03期
8 朱伟;沈婕;郭立帅;;线要素光滑算法的时间复杂度分析[J];南京师大学报(自然科学版);2012年04期
9 周琛;陈振杰;张帅;;基于边界代数法的矢量栅格化并行算法设计与实现[J];计算机工程与科学;2013年04期
中国博士学位论文全文数据库 前6条
1 王强;空间信息服务聚合的关键技术研究[D];解放军信息工程大学;2010年
2 吴长伟;森林监护移动GIS及火灾扑救设备调度关键技术研究[D];东北林业大学;2011年
3 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
4 方雷;基于云计算的土地资源服务高效处理平台关键技术探索与研究[D];浙江大学;2011年
5 曾志;云格环境下海量高分遥感影像资源与服务高效调配研究[D];浙江大学;2012年
6 霍旭光;基于云计算的大规模地形数据处理方法的研究[D];中国地质大学(北京);2013年
中国硕士学位论文全文数据库 前10条
1 刘阿亭;基于Silververlight的3D数字地球模型构建关键技术及应用研究[D];江西理工大学;2011年
2 刘潺;月球探测空间数据集成与检索技术研究[D];国防科学技术大学;2011年
3 黄雪英;面向虚拟试验的工程数据库技术研究[D];西北工业大学;2007年
4 洪智华;工程数据库管理系统ENGDBS文件层的设计与实现[D];大连理工大学;2010年
5 李潇;基于多核平台的R树窗口查询算法优化探讨[D];昆明理工大学;2012年
6 刘艳俊;云计算环境下GML空间数据查询与空间分析研究[D];江西理工大学;2012年
7 郭志恒;云计算环境下GML空间数据存储索引机制研究[D];江西理工大学;2012年
8 赵延慧;基于多Agent的GIS快速查询技术研究[D];南京航空航天大学;2012年
9 黎心灵;云计算环境下GIS空间分析任务调度策略研究[D];江西理工大学;2012年
10 敖杰刚;分布式并行计算下GML空间数据复制同步更新机制研究[D];江西理工大学;2012年
【二级参考文献】
中国期刊全文数据库 前4条
1 王学超,王玉生;分布式配电网调度与管理自动化系统的设计开发[J];电力系统自动化;1999年07期
2 赵谷泉;变电所综合自动化的结构模式及通信总线选择[J];电力自动化设备;1999年05期
3 张怡,张拥军,彭宇行,陈福接;一种支持QoS的连续媒体CPU调度方法[J];计算机研究与发展;2000年02期
4 刘衡竹,胡衡江,陈福接;VOD服务器设计的支撑技术[J];计算机工程与科学;1999年03期
【相似文献】
中国期刊全文数据库 前10条
1 贺玲,吴玲达,蔡益朝;基于内容图像检索中的索引技术[J];计算机应用研究;2005年11期
2 张敬敏;王培崇;路凤佳;;一种改进的移动对象轨迹索引方法[J];微计算机应用;2009年02期
3 张延玲;李琪;姜保庆;;移动对象轨迹索引技术研究[J];地理空间信息;2009年01期
4 陈继东;胡志智;孟小峰;王凌;;一种基于城市交通网络的移动对象全时态索引[J];计算机研究与发展;2007年06期
5 程昌秀;;矢量数据多尺度空间索引方法的研究[J];武汉大学学报(信息科学版);2009年05期
6 张闯;周丽娟;高志新;褚金凤;;Oracle 10g索引技术在数据仓库中应用[J];自动化技术与应用;2007年01期
7 武森,胡波,龙誉;数据仓库的索引技术[J];教育信息化;2001年12期
8 李贞海;余建桥;;交通网络中移动对象全时态位置索引模型[J];计算机工程;2011年03期
9 严明;;论钱亚新先生的索引思想[J];中国索引;2006年03期
10 滕连泽;刘洪斌;武伟;;基于空间数据不同索引方法的比较[J];计算机与现代化;2006年01期
中国重要会议论文全文数据库 前10条
1 周项敏;王国仁;于戈;;度量空间中索引方法的研究[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
2 严梅;郭瑞强;贾晓辉;乐嘉锦;;基于S&V索引的XML文档查询[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
3 陶剑文;丁佩芬;赵杰煜;;csgIndex:一种可扩展的对比子图索引模型[A];第二十七届中国控制会议论文集[C];2008年
4 彭峰云;彭智勇;;基于数字指纹的大规模DNA序列索引的永存方法[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
5 于利胜;张倩;王珊;张延松;;RR_tree:多维索引的关系模式实现新方法[A];第26届中国数据库学术会议论文集(A辑)[C];2009年
6 章秀静;谢昆青;陈冠华;;空间数据库中R树索引的设计[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
7 程崇燕;包小源;宋爽;;HR-Tree——一种基于P2P端点的XML树型索引方法[A];2007年全国开放式分布与并行计算机学术会议论文集(上册)[C];2007年
8 张琪玉;;中国索引事业:当前格局与问题[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
9 向坚;;基于子空间的运动索引[A];中国仪器仪表学会第九届青年学术会议论文集[C];2007年
10 贺琪;陈晓峰;王甘霖;;基于终端元素结点的XML文档索引方法[A];2006年全国理论计算机科学学术年会论文集[C];2006年
中国重要报纸全文数据库 前7条
1 张亚斌实习生 张华;南充市民挑战两千年传统汉字索引法[N];南充日报;2008年
2 中国人民大学信息学院 孟小峰 丁治明;让数据跟随你移动[N];计算机世界;2001年
3 蒋捷;导航数据库中的关键技术[N];中国测绘报;2004年
4 山林;建立一个完整的银行卡指标体系[N];中国城乡金融报;2008年
5 郭丽艳;会计电算化系统的管理控制[N];中国财经报;2003年
6 林建;读者企盼信息线索[N];中国矿业报;2003年
7 本报记者 于翔;数据库内分析:穿越数据丛林的轻舟[N];网络世界;2009年
中国博士学位论文全文数据库 前10条
1 张硕;图数据库查询处理技术的研究[D];哈尔滨工业大学;2010年
2 张硕;图数据库查询处理技术的研究[D];哈尔滨工业大学;2010年
3 曹玉东;图像检索中的特征表示和索引方法的研究[D];北京邮电大学;2011年
4 曹玉东;图像检索中的特征表示和索引方法的研究[D];北京邮电大学;2011年
5 向小岩;闪存数据库若干关键问题研究[D];中国科学技术大学;2009年
6 曲吉林;时间序列挖掘中索引与查询技术的研究[D];天津大学;2006年
7 魏建生;高性能重复数据检测与删除技术研究[D];华中科技大学;2012年
8 向坚;基于三维捕获数据的人体运动分析关键技术研究[D];浙江大学;2007年
9 黄健美;高维数据索引及其查询处理技术研究[D];东北大学;2009年
10 张泽宝;空间数据库的索引技术研究[D];哈尔滨工程大学;2009年
中国硕士学位论文全文数据库 前10条
1 谢谏;基于Lucene的XML索引与检索[D];华南理工大学;2012年
2 何启明;音频样例检索的索引方法研究[D];哈尔滨工业大学;2013年
3 颜阳;面向移动Web搜索的IR-tree混合索引模型的研究与实现[D];东北师范大学;2013年
4 李颖;基于多重近似索引的空间多路连接[D];华中科技大学;2011年
5 王红卫;面向数据空间的异构数据索引方法研究[D];哈尔滨工程大学;2013年
6 魏长芳;基于二次索引技术的XML查询研究[D];中国石油大学;2010年
7 周玲;大规模图像检索中局部特征聚合与索引方法研究[D];华中科技大学;2011年
8 樊守德;移动对象轨迹模型、索引结构与查询研究[D];哈尔滨理工大学;2008年
9 黄河;一种移动对象索引的研究与实现技术[D];华中科技大学;2007年
10 杨思箫;DWMS中列存储索引技术的研究与改进[D];东华大学;2012年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026