收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

对等计算系统中的相似查询处理研究

徐林昊  
【摘要】: 对等计算(peer-to-peer computing,简称P2P)已经成为了计算机科学领域的研究热点。在对等计算系统中,每个节点都是完全自治的,拥有相同的责任,扮演着双重角色—既可以是客户机(服务消费者),也可以足服务器(服务提供者),而且任意一个节点都可以随意地加入或退出系统。因此,对等计算系统是一个完全动态的、没有任何集中控制的分布式系统。对等计算模型具有许多潜在的优势,如扩展性强、鲁棒性好、资源可用性高等特点,特别适用于具有地理分布、资源异构、扩展性要求高、局部自治等特征的分布式系统。因而,对等计算模型推动了“以主机为中心(host-centric)”的传统互联网向“以数据为中心(data-centric)”的未来互联网的发展,被学术界和工业界公认为是重构基于互联网应用的关键技术之一。 虽然,学术界已经取得了不少对等计算环境下的查询处理研究成果,但仍然存在着许多有待研究与解决问题。本文研究了对等计算环境下的相似查询问题,探索了对等计算环境下的基于路由索引、数据空间划分、协作缓存和概率模型的相似查询处理技术,旨在为现有的对等计算系统提供基于语义或者相似度的查询处理功能。本文的主要贡献有如下四个方面: 1.将多维数据空间中的相似查询处理(similarity search)技术引入到无结构(unstructured)对等计算系统中,利用近似向量(vector approximation)技术和路由索引(routing index)技术,为系统中的每个节点建立基于近似向量的路由索引,使得用户查询能够准确地路由到并且有效地查询拥有相关数据资源的节点,实现无结构对等计算系统中的相似查询处理。另外,利用无结构对等计算系统中的网络自配置(self-reconfiguration)特性,通过动态调整节点在网络中的位置,使得与相似查询相关的节点保持位置邻近,进一步提高了系统的查询处理性能。仿真实验表明,该方法对无结构对等计算环境下的相似查询处理非常有效。 2.将数据空间划分(space partitioning)技术引入到结构化(structured)对等计算系统中,通过选定的代表点(reference point),将整个数据空间划分成没有任何重叠(overlap)的数据子空间。通过将代表点线性化,在节点、代表点和数据子空间三者之间建立起一一映射关系。利用传统的高维索引技术和基于分布式散列表(distributed hash table,或DHT)的资源查找和定位机制,使得高维数据空间中的相似查询处理在结构化对等计算系统上得以实现。此外,通过维护数据子空间之间的物理邻近(physical proximity)特征,降低了系统的查询路由代价;通过调整数据子空间的粒度,达到均衡系统负载(load balance)的目的。仿真实验表明,该方法能够有效地适应数据维度的增长和系统规模的扩展。 3.针对关系查询处理,探索了基于协商(negotiation)的协作缓存技术(collaborative caching),提出了一种基于网络传输代价的查询代价模型,用于评价不同查询计划的执行代价。在对等计算环境下,一个查询计划的执行代价可以被分解为子查询计划的执行代价。结合代价模型,利用协调重叠网络(collaborative overlap network),通过查询请求节点(requester)和协调节点(coordinator)之间的协商,确定协作缓存的逻辑查询表达式和参与数据缓存的查询请求节点,实现了对等计算环境下的基于语义的查询处理。仿真和真实实验表明,该方法能够确定较优的数据缓存放置策略,降低系统的查询处理开销。尤其是在单个节点仅能贡献有限的存储资源的情况下,该方法的优势更为明显。4.针对基于主题(topic)的对等计算文件共享系统,研究了一种基于概率的相似查询处理技术。该技术的核心思想是利用概率模型(probabilistic model)描述共享主题之间的语义重叠度(overlap)以及节点对主题的信息覆盖度(coverage),为节点建立起概率路由信息。相似查询处理算法以每个节点已有的概率信息为基础,依据推导出的邻居节点对查询主题的覆盖度,决定主题查询的搜索路径。此外,利用查询反馈的信息,通过更新路由查询的节点上的概率信息,使得这些节点能够为将来的主题查询选择更准确的查询搜索路径。模拟实验表明,该方法能够利用基于自反馈的概率更新算法,逐步改善查询处理的效果,提高查询处理的效率。 总之,本文详细地介绍了四种相似查询处理方法的算法设计与实现,以及测试结果。这些方法是对现有对等计算环境下的查询处理技术的有益补充和改进。本文的研究工作建立在对当前已有技术的详尽分析与理论研究,以及大量的实验测试的基础上。实验和分析表明,与当前对等计算环境下的查询处理技术相比,上述方法在查询效率和资源利用率等方面具有优势。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 罗峰;;基于网络编码的P2P网络系统研究[J];电视技术;2007年02期
2 吴绍兴;张歌凌;马玉军;;基于免疫克隆退火算法的P2P路由算法[J];计算机工程;2009年18期
3 董健全;谢承灏;李超;;P2P文件共享系统中恶意代码防治的激励机制[J];计算机工程与应用;2006年34期
4 曾楚轩;;P2P应用技术发展浅析[J];电信网技术;2007年03期
5 李俊青;左凤朝;李元振;;基于P2P Web Cache的数字图书馆平台设计[J];情报杂志;2007年05期
6 赵智超;赵政;;基于XSLT模板展开的对等模式映射合成[J];计算机工程;2009年13期
7 邓智群;戴冠中;慕德俊;罗红;;网格计算与对等计算的比较研究[J];小型微型计算机系统;2005年10期
8 吴成义;王志喜;;综合P2P和网格计算模式的研究[J];西华大学学报(自然科学版);2006年02期
9 王杨;王汝传;赵慧娟;;基于移动代理的P2P与网格融合技术研究[J];江苏通信技术;2006年06期
10 舒丹;信思金;蒋冬青;;网格与P2P的融合与展望[J];中国水运(理论版);2006年02期
11 常艳;刘旭;程文渊;谢向辉;崔德刚;;飞机多目标优化设计网格的研究与应用[J];计算机研究与发展;2007年01期
12 洪道诚;;一种新型的P2P信息检索系统体系结构[J];微计算机信息;2008年21期
13 王从明;王志坚;王宇;黄晓萍;程永上;;基于水利信息网络的对等计算平台[J];计算机工程;2008年19期
14 赵智超;赵政;;对等数据管理系统中模式映射的备份机制[J];计算机工程;2009年01期
15 刘德刚;陈传波;;P2P架构的地图库管理模型[J];计算机工程与应用;2009年17期
16 刘勇;罗绪成;秦志光;;基于随机微分方程的通用P2P文件分发模型[J];计算机应用研究;2010年01期
17 张文举;陈曙东;刘了;马范援;沈建华;;药物发现网格设计与实现[J];计算机工程;2006年11期
18 凌波;吕永成;周水庚;周傲英;Ng Wee Siong;;P2P信息检索及其优化策略[J];计算机科学;2006年08期
19 刘杰;王向辉;张国印;;结构化P2P网络综述[J];信息技术;2007年06期
20 熊曾刚;杨扬;刘丽;陈福;周静静;;集成P2P模式的网格资源发现算法研究[J];计算机工程与应用;2008年04期
中国重要会议论文全文数据库 前10条
1 杜蓓;陈飞波;钱卫宁;周傲英;;基于对等计算技术的内容共享与搜索[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
2 杜蓓;钱卫宁;蔡文渊;周傲英;;对等计算环境中动态数据的一致性保持[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
3 袁野;王国仁;张莹;;P2P环境下度量空间中的相似查询处理[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
4 阳德青;钱卫宁;周傲英;;对等计算系统中基于内容的XML数据分发技术[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
5 王亚云;葛小青;刘真;;台风综合服务系统的实现[A];数据库技术在气象领域的应用学术会议论文集[C];2001年
6 余林琛;廖小飞;;基于P2P-SIP的语音组通讯机制研究[A];2009年全国开放式分布与并行计算机学术会议论文集(上册)[C];2009年
7 余林琛;廖小飞;;一种新的应用层对等路由机制的研究[A];2008年全国开放式分布与并行计算机学术会议论文集(上册)[C];2008年
8 黄海;侯颖;朱圣平;;一种多维向量并行查询算法[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年
9 徐小龙;王汝传;姜波;;一种新的基于P2P的电信海量数据分析业务模式[A];普适计算及其软件新技术——第三届长三角计算机科技论坛文集[C];2006年
10 余敏;李战怀;张龙波;;P2P连续查询策略分析与研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
中国博士学位论文全文数据库 前10条
1 徐林昊;对等计算系统中的相似查询处理研究[D];复旦大学;2005年
2 周世杰;对等计算中的分布式路由算法及其安全性研究[D];电子科技大学;2004年
3 钱卫宁;对等计算系统中的数据管理[D];复旦大学;2004年
4 凌波;基于对等计算的信息检索技术[D];复旦大学;2004年
5 詹敏;基于对等计算的企业应用集成系统的研究与实现[D];中国科学院研究生院(软件研究所);2002年
6 董道国;高维数据索引结构研究[D];复旦大学;2005年
7 徐鹤;基于对等计算的无线射频识别网络若干问题研究[D];南京邮电大学;2012年
8 汪锦岭;面向Internet的发布/订阅系统的关键技术研究[D];中国科学院研究生院(软件研究所);2005年
9 左克;移动对等计算资源定位与分发技术研究[D];国防科学技术大学;2010年
10 刘德刚;对等计算环境中矢量空间数据索引模型与查询算法研究[D];华中科技大学;2009年
中国硕士学位论文全文数据库 前10条
1 朱鹤;结果分级的快速子序列相似查询方法研究[D];燕山大学;2010年
2 汤天亮;混合式P2P系统中的相似查询研究[D];浙江大学;2010年
3 陈博;一个对等计算模型及其在网格中的应用研究[D];中国科学院研究生院(软件研究所);2004年
4 陆晨;对等式网络模型的研究及应用[D];合肥工业大学;2003年
5 赖晓燕;安全电子公文系统的研究与设计[D];四川大学;2005年
6 王博;基于混合层次化P2P的网络文件共享系统的研究与开发[D];西安电子科技大学;2008年
7 王炯;对等网络中搜索算法与资源最优分布策略的研究与应用[D];合肥工业大学;2005年
8 叶从欢;P2P-Grid模型及其环境下资源管理关键技术研究[D];电子科技大学;2005年
9 刘韵;基于P2P的网络存储技术研究[D];电子科技大学;2005年
10 于游;网格资源发现机制的研究[D];燕山大学;2007年
中国重要报纸全文数据库 前10条
1 ;高性能平台上的舞者[N];网络世界;2003年
2 熊俊;P2P重塑网络共享[N];中国计算机报;2002年
3 清华大学 杨广文/国防科技大学 黄大正 肖侬;P2P计算深入底层与边缘[N];计算机世界;2002年
4 中科院计算所 罗杰文;P2P:互联网时代的计算革命[N];计算机世界;2006年
5 朱杰;P2P为IPv6带来应用机遇[N];中国计算机报;2008年
6 刘琰;P2P式微?[N];中国计算机报;2005年
7 ;开源节流话计算[N];网络世界;2002年
8 ;开源三大新挑战[N];网络世界;2008年
9 陈春美 李超;英特尔:延伸PC时代[N];中国邮政报;2001年
10 国防科技大学计算机学院 肖侬 卢锡城 王怀民;老话题新内容[N];计算机世界;2002年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978