收藏本站
《东北大学》 2008年
收藏 | 手机打开
二维码
手机客户端打开本文

基于P2P框架的数据库网格中若干关键技术的研究

王广奇  
【摘要】: 随着信息技术的发展,各行业的信息量呈爆炸性增长,其中包括众多公共有效的数据库资源。地理上广泛分布的用户都希望能够按需透明地访问和使用这些丰富的数据资源。如高能物理、生物计算等科学研究领域、电子商务领域和深层Web数据查询领域等。数据网格是基于广域网对海量、分布异构的数据资源进行管理、访问和共享的系统。数据库网格概念是随着公有数据库资源的丰富而提出的,是以数据库为主要资源的一种数据网格系统,可为上述应用提供良好的支持。一方面,利用网格环境的高效处理能力实现海量数据的有效整合,有效地利用已有众多的数据库资源;同时也可以利用数据库管理系统高效的数据管理能力,为网格内实现数据库资源的有效管理、分布数据的优化集成以及海量数据的分析处理等提供强有力的支持。为此,本文针对目前支持数据库网格的若干关键技术进行研究,主要包括基于P2P模型的网格体系结构、P2P支持框架、资源管理、数据动态集成、资源副本管理、数据概要等进行深入研究。 目前有关数据库网格的研究和开发还处于起步阶段。几年来,最具有代表性的工作是隶属于全球网格论坛(GGF:Global Grid Forum)的DAIS工作组(Database Access and Integration Services Working Group)制定的网格环境下访问数据库的协议和中间件,以及针对特定应用数据库进行处理的网格系统。已有工作大多是针对特定领域,基于静态环境构建的数据库网格系统,很少有如何适应网格环境内数据库资源的不确定性的相关讨论,也没有看到有关完善的支持动态数据集成的数据库网格的报道。虽然网格环境下针对数据库的处理技术同已有的多数据库、并行数据库以及分布式数据库的处理技术有很多相容的方面,但由于网格环境内数据资源的不确定性(动态性),已有支持技术不足以支持构建具有不确定性的数据库网格环境。这些不确定性给数据库网格中数据资源管理、资源查询处理、数据集成、事务调度、海量数据分析等带来了新的挑战。 本文基于OGSA-DAI(Open Grid Service Architecture-Database Access and Integration)规范,采用面向服务的思想,基于P2P模型,研究构建一个面向多领域的、支持动态数据集成的数据库网格系统的若干关键技术。目的是在网格环境下,借用网格的高效处理能力,为分布、自治、异构的数据库资源的有效管理、动态数据集成和分析处理等提供一个良好的使能环境,透明地为用户按需提供服务。 在支持数据库网格的框架结构方面,针对集中的资源管理方法具有一定的局限性,呈现出了Peer to Peer(P2P)体系结构。P2P方式,可避免单点失败,并具有可扩展性好等特点。为支持多领域的资源管理,在Chord结构基础上,提出了一种适用于数据库网格的P2P框架结构-MultiChord,可有效支持多领域的资源管理。 在模式集成和查询处理方面,针对数据库网格内资源的自治、异构特性,定义全局模式本体,并提出了一种基于本体的查询处理策略,提高查询效率,实现异构查询。将查询处理分为全局查询和局部查询处理两部分。在全局查询处理阶段,基于本体实现语义转换、查询重写和生成查询执行计划。由局部查询处理解决数据层冲突和查询的语义扩展。 在执行优化方面,为有效地减少数据传输代价,提出了一种基于关键字过滤的执行优化策略,并基于“能者多劳”的思想,动态协调数据资源的传输量,有效地提高了数据网格内的数据资源的获取效率。 在副本管理方面,针对P2P系统中节点可随时加入和退出的动态特性,为保证基于P2P模型的数据网格系统的健壮性,提出了一种基于多根节点多点维护的副本管理策略,可有效地保证数据网格系统的健壮性,提高了资源的获取效率。 在数据概要方面,为有效地从海量数据的查询结果信息中获取最多的知识,提出了一种基于聚类分析的分布式的数据概要策略。数据集成层保证合成的数据满足用户的模式需求,聚类分析层将概要数据展示给用户,以便于直观的数据分析。 最后,在提出的关键技术基础上,设计并实现了一个支持多领域的、面向数据库资源动态集成的数据库网格系统DS-Grid。基于DAI将数据资源包装为Grid Services,基于JAXT构建MultiChord框架,采用XML数据库管理系统Shunsaku为XML数据资源仓,主要编程语言为Java。该系统是国家863项目子项目“面向CIMS领域的支持企业业务柔性集成的服务网格技术的研究“的一个子系统,经过测试评价,具有较高的效率,很好地达到了预期目标。
【学位授予单位】:东北大学
【学位级别】:博士
【学位授予年份】:2008
【分类号】:TP311.13

【引证文献】
中国硕士学位论文全文数据库 前1条
1 叶有灿;基于SOA和P2P技术的农村综合信息平台的设计和实现[D];复旦大学;2012年
【参考文献】
中国期刊全文数据库 前10条
1 邓志鸿,唐世渭,张铭,杨冬青,陈捷;Ontology研究综述[J];北京大学学报(自然科学版);2002年05期
2 申德荣;A UDDI Based Shared Resources Management Mechanism in Virtual Enetrprises[J];High Technology Letters;2003年04期
3 王意洁,肖侬,任浩,卢锡城;数据网格及其关键技术研究[J];计算机研究与发展;2002年08期
4 游赣梅,廖华明,李峰;信息网格中具有动态变更适应性的元数据发布策略[J];计算机研究与发展;2003年12期
5 杨东华,李建中,张文平;基于数据网格环境的连接操作算法[J];计算机研究与发展;2004年10期
6 任浩;李志刚;肖侬;;数据库网格:基于网格的多数据库系统[J];计算机工程与应用;2006年02期
7 唐九阳;张维明;肖卫东;汤大权;;一个基于对等网的数据集成系统[J];计算机科学;2006年02期
8 张蓉,申德荣,于戈;Ontology在异构数据库集成中的应用[J];计算机工程;2004年24期
9 王广奇;申德荣;刘健;于戈;;支持网格数据服务管理的MultiChord框架[J];计算机工程;2007年22期
10 任永功,于戈;一种多维数据的聚类算法及其可视化研究[J];计算机学报;2005年11期
中国博士学位论文全文数据库 前1条
1 刘丽艳;基于数据网格的海量数据管理若干关键技术研究[D];中国科学院研究生院(计算技术研究所);2005年
中国硕士学位论文全文数据库 前4条
1 寇月;服务网格中基于UDDI的元信息管理机制的研究[D];东北大学;2005年
2 刘鼎鼎;网格体系结构及其Portal应用研究[D];电子科技大学;2006年
3 魏磊;采用Chord协议实现分布式内存数据库系统的研究[D];北京邮电大学;2006年
4 代田田;基于SOA架构的信息集成研究[D];上海交通大学;2007年
【共引文献】
中国期刊全文数据库 前10条
1 梁峰;金莹;;基于Agent技术的语义网服务模型[J];安徽广播电视大学学报;2008年01期
2 刘金红;陆余良;施凡;宋舜宏;;基于语义上下文分析的因特网人物信息挖掘[J];安徽大学学报(自然科学版);2009年04期
3 陆余良;房珊瑶;刘金红;施凡;;Deep Web站点分类研究进展[J];安徽大学学报(自然科学版);2010年01期
4 陶皖,李平,廖述梅;当前基于本体的语义标注工具的分析[J];安徽工程科技学院学报(自然科学版);2005年02期
5 赵秀芳;;基于本体的农业信息检索[J];安徽农业科学;2006年10期
6 蔡曈;徐惠;吴群;;土壤质量聚类分析——以封丘县为例[J];安徽农业科学;2008年25期
7 薛荟;谭三清;;林业应用系统本体知识模型的构建方法研究[J];现代农业科技;2011年07期
8 赵靖;王侨文;管马周;单传佳;;自动提取布局结构相似网页的结构化信息[J];安徽科技学院学报;2010年06期
9 刘蓉;;基于GSI的网格授权网络安全体系研究与实现[J];信息安全与技术;2012年05期
10 张耀南,程国栋,韦五周,谭振华;基于曙光3000计算环境的寒旱区资源环境数据平台建设[J];冰川冻土;2004年02期
中国重要会议论文全文数据库 前10条
1 刘文远;李振平;王宝文;裴继辉;;一种多维数据的离群点检测算法[A];2007年全国第十一届企业信息化与工业工程学术会议论文集[C];2007年
2 李贵;张兆鑫;李征宇;韩子洋;;WEB环境下基于领域本体的语义匹配技术研究[A];科学发展与社会责任(A卷)——第五届沈阳科学学术年会文集[C];2008年
3 李伟刚;张克亮;王慧兰;;基于航空领域本体知识库的语义检索研究[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
4 王建州;李廉;汪映海;;面向Ontology的电力信息系统的研究[A];2005年信息与通信领域博士后学术会议论文集[C];2005年
5 郑笈;李思昆;陆筱霞;;大规模场景绘制的存储数据调度组织研究[A];节能环保 和谐发展——2007中国科协年会论文集(一)[C];2007年
6 杨昆;王军;彭双云;;基于Ontology的空间信息互操作初步研究[A];中国地理信息系统协会第八届年会论文集[C];2004年
7 景东升;;基于本体和agent的地理空间信息语义共享初探[A];中国地理信息系统协会第八届年会论文集[C];2004年
8 蔡彪;廖闻剑;彭艳兵;;Deep Web数据集成和关键技术综述[A];2009年研究生学术交流会通信与信息技术论文集[C];2009年
9 范志煜;肖兵;沈薇薇;;基于概率本体的态势估计应用研究[A];中国自动化学会中南六省(区)2010年第28届年会·论文集[C];2010年
10 贾凌燕;陆一平;;浅谈ontology方法及其发展[A];全国先进制造技术高层论坛暨制造业自动化、信息化技术研讨会论文集[C];2005年
中国博士学位论文全文数据库 前10条
1 王英照;面向信息网络经营的客户需求研究[D];哈尔滨工程大学;2010年
2 卜志国;海洋生态环境监测系统数据集成与应用研究[D];中国海洋大学;2010年
3 熊晶;海洋生态本体的建模方法研究及应用[D];中国海洋大学;2010年
4 张俐;面向概念设计方案选择的协同决策方法研究[D];华中科技大学;2010年
5 韩赟;高技术虚拟企业(HTVE)知识管理模式研究[D];哈尔滨理工大学;2009年
6 王亚萍;需求驱动的个性化产品配置设计方法研究[D];哈尔滨理工大学;2010年
7 张慧斌;Deep Web查询接口及查询结果抽取研究[D];南开大学;2010年
8 于晓燕;基于网格的数字图书馆模式构建研究[D];南开大学;2010年
9 游颖;客车信息集成控制系统配置设计中的分解技术研究[D];武汉理工大学;2010年
10 潘鹏;Deep Web查询中的不确定性问题研究[D];山东大学;2010年
中国硕士学位论文全文数据库 前10条
1 樊敬川;Deep Web数据库的选择研究[D];河北大学;2009年
2 程妍妍;基于嵌套Spreadsheet和数据流的多模态的Mashup应用构造[D];山东科技大学;2010年
3 厉颖;基于本体的服装领域知识表示的建模研究[D];山东科技大学;2010年
4 商翠珍;数据资源汇聚的可视化建模技术研究与应用[D];山东科技大学;2010年
5 朱静;数据资源汇聚中嵌套表格模型的研究与应用[D];山东科技大学;2010年
6 吕媛媛;基于本体的物流信息集成系统的研究[D];山东科技大学;2010年
7 杨建英;基于P2P和VNC的测井解释协同平台的研究与实现[D];山东科技大学;2010年
8 夏怀楠;支持跨域数据汇聚的关系数据访问服务研究[D];山东科技大学;2010年
9 许坤;基于本体的应急信息管理系统的研究与设计[D];郑州大学;2010年
10 王洋;基于潜在语义分析的智能搜索技术研究[D];哈尔滨工程大学;2010年
【同被引文献】
中国期刊全文数据库 前1条
1 金海;廖小飞;;P2P技术原理及应用[J];中兴通讯技术;2007年06期
中国博士学位论文全文数据库 前4条
1 曾鸣;基于SOA的森林资源空间信息分级服务研究[D];中国林业科学研究院;2011年
2 王永志;基于数据仓库和SOA的地学数据集成与应用的关键技术研究[D];吉林大学;2008年
3 邢德海;基于SOA构建面向效率改善的银行业务管理系统[D];天津大学;2007年
4 夏莹杰;基于P2P网格的新型科学计算基础架构研究[D];浙江大学;2009年
中国硕士学位论文全文数据库 前2条
1 张琛;基于SOA的分布式网络管理的系统研究[D];电子科技大学;2007年
2 任毅;基于SOA的电子政务平台的配置管理研究[D];武汉理工大学;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 胡引翠;网格计算技术的应用及其发展趋势[J];测绘通报;2005年03期
2 陈娟,王汝传;开放网格服务结构中WSRF与OGSI的比较分析[J];江苏技术师范学院学报;2005年04期
3 孙九林,李爽;地球科学数据共享与数据网格技术[J];地球科学;2002年05期
4 杜晋瑞 ,戴光明 ,刘鹏;网格体系结构标准的演变与分析[J];信息技术与标准化;2005年08期
5 谭勇;网格体系结构研究[J];湖北民族学院学报(自然科学版);2004年04期
6 龚强;关于网格特征的研究[J];信息技术;2004年10期
7 徐志伟,李伟;织女星网格的体系结构研究[J];计算机研究与发展;2002年08期
8 王意洁,肖侬,任浩,卢锡城;数据网格及其关键技术研究[J];计算机研究与发展;2002年08期
9 刘洁,郑丽萍,郭韦钰,时鹏,丁连红;中国织女星知识网格研究进展[J];计算机研究与发展;2003年12期
10 廖华明,程伯羽,刘新周,虎嵩林,刘欣;信息网格中元数据层次化结构模型的研究和应用[J];计算机研究与发展;2003年12期
中国博士学位论文全文数据库 前1条
1 韩伟红;多数据库系统中关键技术的研究[D];中国人民解放军国防科学技术大学;2000年
中国硕士学位论文全文数据库 前3条
1 肖文;基于Web Service的分布式文件服务系统[D];浙江大学;2004年
2 刘海滨;基于Ontology的信息集成技术研究与实现[D];大连海事大学;2006年
3 赵丽;本体的理论及其应用研究[D];兰州理工大学;2006年
【相似文献】
中国期刊全文数据库 前10条
1 洪汉妮;;德国赛克Tamino XML Database[J];电子测试;2001年08期
2 陆天坤;成叶琴;;以Kexi为平台的桌面数据库处理[J];教书育人;2006年S1期
3 达全;相关型数据库处理机[J];微电子学与计算机;1984年04期
4 李迎辉;;Python开发Rails框架——Django框架介绍[J];程序员;2006年11期
5 张建军;数据库系统在三江水利工程信息管理中的应用[J];黑龙江水利科技;2002年04期
6 孙俊;;Visual Basic 6.0中数据库处理图像的方法[J];中国科技信息;2006年08期
7 王爱清;周以鸣;邹蓉;;Intranet数据库:一种分布式处理实现方案[J];计算机科学;2000年08期
8 汪静;贺鹏;王东娟;;一种分布式数据库系统时间同步技术研究[J];微计算机信息;2007年18期
9 张涛;田瑜辉;;提高SQL Server数据库访问速度的方法[J];计算机时代;2007年09期
10 尚玉梅;任丹;;基于Access的应用程序设计研究[J];商业文化(学术版);2008年10期
中国重要会议论文全文数据库 前10条
1 李沛;康淮湘;徐一川;朴洪军;;天津出入境检验检疫局RAC+STANDNY数据库测试有关问题的讨论[A];天津市电视技术研究会2010年年会论文集[C];2010年
2 王凌峰;吴海鑫;;工业测控软件中数据处理组态技术的研究[A];面向制造业的自动化与信息化技术创新设计的基础技术——2001年中国机械工程学会年会暨第九届全国特种加工学术年会论文集[C];2001年
3 张丙振;;基于A文件的地面观测资料处理应用系统[A];2011年中国气象学会气象通信与信息技术委员会暨国家气象信息中心科技年会论文摘要[C];2011年
4 朱益虎;周钊;李俊辉;王洪光;;数据库处理工作流方法[A];江苏省测绘学会2011年学术年会论文集[C];2011年
5 麦中凡;车敦仁;葛健;;持久性程序设计语言与数据库程序设计语言[A];第十届全国数据库学术会议论文集[C];1992年
6 凌小明;;数据库在编图中的应用[A];全国数字地质制图学术讨论会部分论文、论文摘要汇编[C];2004年
7 王春慧;周前祥;周诗华;赵岩;;可视化人体工程数据库[A];全国第二届信号处理与应用学术会议专刊[C];2008年
8 张俊波;陈松;王静;陈天锡;;市地级人工影响天气数据库建设研究[A];第27届中国气象学会年会人工影响天气与云雾物理新技术理论及进展分会场论文集[C];2010年
9 黄东;;工厂信息化日志的存储及管理[A];中国计量协会冶金分会2011年会论文集[C];2011年
10 范志新;王宁;陶晓鹏;施伯乐;;开放式图书馆汉语检索结构[A];数据库研究进展97——第十四届全国数据库学术会议论文集(下)[C];1997年
中国重要报纸全文数据库 前10条
1 ;“毒蛇”出洞[N];计算机世界;2006年
2 记者 张宇 彭娟;孔龄全:中学生走入信息奥赛殿堂的领路人[N];菏泽日报;2010年
3 本报通讯员 邹益芳;土生土长的专家[N];中国邮政报;2011年
4 若木;如何提高Web服务器性能[N];中国国门时报;2006年
5 泥巴;require和include经典一例剖析[N];电脑报;2001年
6 王琨月;存储的冬天NAS却春意盎然[N];网络世界;2008年
7 ;Ruby on Rails[N];计算机世界;2006年
8 ;企业的“万金油”[N];中国电脑教育报;2007年
9 ;中国银行提出在全球兴建七大信息中心[N];中国高新技术产业导报;2001年
10 ;新晨科技:网络优化系统需提高服务质量[N];中国计算机报;2010年
中国博士学位论文全文数据库 前10条
1 强彦;数据库负载自适应技术研究[D];太原理工大学;2010年
2 刘洋;量子计算机中的数据库处理[D];清华大学;2008年
3 张宁;蛋白质Beta折叠的分析与预测及生物信息工具开发[D];南开大学;2010年
4 梁平;嵌入式实时数据库系统恢复技术研究[D];华中科技大学;2011年
5 吴简;面向业务的基于模糊关联规则挖掘的网络故障诊断[D];电子科技大学;2012年
6 薛洋;基于单个加速度传感器的人体运动模式识别[D];华南理工大学;2011年
7 赵世宜;基于新型模型原理的产品数字化设计研究与应用[D];湖南大学;2009年
8 余水静;食源性致病菌特异性靶点发掘系统及数据库的构建[D];上海交通大学;2012年
9 李培培;数据流中概念漂移检测与分类方法研究[D];合肥工业大学;2012年
10 吕雁飞;闪存数据库管理系统关键技术研究[D];北京大学;2013年
中国硕士学位论文全文数据库 前10条
1 李彦彪;自适应数据库负载控制算法的研究与实现[D];太原理工大学;2010年
2 戢清雨;自修复数据库在易货系统中的研究与应用[D];东华大学;2013年
3 桑成良;多租户数据库一致性问题研究[D];山东大学;2013年
4 曾妍;基于Eclipse RCP的DB2 for i数据库测试系统的设计与实现[D];吉林大学;2011年
5 孙树军;基于Oracle数据库的性能调整及优化技术研究[D];北京工业大学;2011年
6 赵文彬;包头市科技少年宫学生管理系统设计与实现[D];电子科技大学;2010年
7 张恒智;Oracle数据库的注入攻击和防御研究[D];上海交通大学;2012年
8 李敏铭;基于JavaEE的数据库辅导教学系统的设计和实现[D];电子科技大学;2013年
9 常莹;北京电子科技职业学院学生管理系统分析与设计[D];北京邮电大学;2012年
10 梁骐驹;僵尸网络技术检测与防范系统—数据库与系统集成解决方案[D];华南理工大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026