收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

对等计算系统中的数据管理

钱卫宁  
【摘要】:随着互联网(Internet)的普及以及数据管理技术的发展,大量互联网上的节点需要相互共享数据或者服务;另一方面,数据采集技术的成熟和硬件成本的降低,使得传感器网络(sensor network)在各种监控应用中扮演了越来越重要的角色。大量节点间数据或服务共享和传感器网络数据传输与处理这两类应用都具有如下两个特点: ·每个节点既可以是客户机(服务消费者)也可以是服务器(服务提供者),或者同时扮演客户机和服务器的角色。 ·一个节点可以根据需要在应用层与任意一个其它节点建立连接或者进行通讯。 具有这些特性的系统通常被抽象为具有“对等计算”(peer-to-peer,或P2P)模型的系统。 本文研究对等计算环境下的数据管理问题。主要根据对等计算环境下,单个节点的自主性、节点间的对等性、系统的动态性和大规模分布性,在一个统一的查询处理系统框架CON-QuerP下,探索在对等计算系统中提供复杂查询功能所牵涉到的数据和查询路由、定位与查找、查询处理、索引、数据放置等技术问题。本文的主要贡献有如下四个方面: 1.在详细分析了现有基于对等计算模型的文件共享和数据管理系统以及相关技术与研究进展的基础上,提出了一个基于非结构化(unstructured)对等计算模型的查询系统框架CON-QuerP。该框架底层基于非结构化对等计算平台,每个节点利用后端的关系数据库查询功能,并在此基础上提供跨节点的查询处理功能。和现有其它系统不同,该框架提供了一种“协作视图”(collaborative view)机制,以及相应的基于分布式散列表(distributed hash table,或DHT)的资源查找和定位机制CON,以使得系统能够利用不同粒度的视图(view),在协作的环境下提供比其它系统更高的查询效率。 2.在分析了当}iiJ’己经存在的人{.川卜结构化对等乙}·幼‘1冈络搜索技术的从础},., 研究了一种利用“小世界现象”(small一world phenomena)的搜索技术 SHIN()V。该技术的核心是基于相似度的启发式搜索和访问节点(node一七卜 visit,或NOV)控制技术的结合。算法以查询与节点提供的共享数据的相 似程度决定通过该节点查询的广播程度,摒弃了传统的基于查询生存时间 (t ime一to一llve,或TTL)的控制手段,代之以基于访问节点个数对搜索的 规模进行控制。在“对等计算网络也具有‘小世界现象”,的假设下,该 搜索算法能够比传统的广度优先搜索‘breadth一first Search,或BFs)更有 优势。模拟实验表明,在对等计算环境下节点的自主性和环境的动态性增 强,即搜索对象主题增加、搜索主题不确定时,该算法的优势更为明显。 3.引入了基于聚类的查询处理(elustering一based query answering,或CBQA) 的新概念,它概括了最近邻搜索和聚类问题。提出了一种在对等计算环境 下处理这类查询的方法,并证明了该方法在一定条件下能够获得和集中式环 境下相同的结果。针对最近邻搜索、基于距离的聚类和基于密度的聚类, 分别构造了三个不同的算法,证明了它们能够获得和集中式环境下一致的结 果,并分析了它们通讯和计算代价。这些算法能够和SHINOV搜索技术相 结合,被集成到查询处理框架C口尽Q。er尸中,作为底层通讯、路由技术对 上层查询处理模块发出的对象查找请求作出支持。 4.针对类SQL查询处理,探索了基于协商(nego七iation)的物化视图 (ma;erialized view)选择技术。在具有协作视图机制的CO.尽QuerP框 架下,提出了一种考虑网络传输的代价模型,用于衡量不同查询计划的 代价。在对等计算环境下,一个查询计划的代价可以以较小的代价利用 测试进行估算。结合代价模型,利用CON技术,查询节点(查询者(re- quester))和协调节点(协调者(eoordinator))通过协商确定物化视图的逻 辑表达与参与维护的节点。详细探讨了协作视图机制的实现细节,包括代价 估算、查询处理、和节点间协商协议,并研究了视图维护和数据更新的实现 问题。仿真和真实实验表明,该方法能够确定较优的物化视图放置策略, 其对查询的支持效果优于基于缓存的方法。当单个节点贡献非常有限的存储 资源的情况下,该方法的优势更为明显。 总之,本文详细介绍了一个完整的基于对等计算的查询系统CO.V.QuerP的框 架设计、实现技术和测试结果。本文工作建立在对当前己有技术的详尽分析以及 理论分析和大量的实验测试的基础上。实验和分析表明,和当前其他对等计算环 境下的查询系统相比,该系统在查询效率和资源利用率上具有优势。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 梁瑜;张剡;周嵩;柏文阳;;基于不确定数据的top-k概率相互最近邻查询[J];计算机应用研究;2011年07期
2 魏东平;徐瑞敏;贾楠;;基于结构标记树的XML可查询压缩方法[J];计算机工程;2011年15期
3 申新鹏;李战怀;曾雷杰;;P2P数据缓存机制研究[J];计算机工程与设计;2011年08期
4 姜国华;姜守旭;王宏志;李建中;高宏;;标签劣质的XML数据上的查询处理[J];计算机科学与探索;2011年08期
5 赵亮;景宁;陈荦;廖巍;钟志农;;面向多核多线程的移动对象连续K近邻查询[J];软件学报;2011年08期
6 张蔚;王洪强;;使用区间路径处理XML查询[J];信息技术;2011年06期
7 徐强;孙乐昌;刘京菊;赵亭;蔡铭;;DHT网络中的多维复杂查询处理方法研究[J];计算机科学;2011年09期
8 刘亮;秦小麟;戴华;杨丰;;基于环扇区的无线传感器网络K近邻查询处理算法[J];小型微型计算机系统;2011年08期
9 曾琳玲;;一种改进的SLCA语义查询算法[J];吉首大学学报(自然科学版);2011年03期
10 张丽;邹鹏;贾焰;;基于网格的数据流连续约束Skyline处理技术研究[J];计算机工程与科学;2011年08期
11 杜诗雨;王子源;;Visual C++操作Excel的应用研究[J];计算机与现代化;2011年08期
12 李尧尧;顾进广;刘琼;;基于语义贡献值的XML查询缓存替换策略[J];计算机工程;2011年13期
13 王雪媛;;蚁群算法在纯数据库中的应用[J];硅谷;2011年14期
14 周傲英;杨彬;金澈清;马强;;基于位置的服务:架构与进展[J];计算机学报;2011年07期
15 王媛;王意洁;邓瑞鹏;裴晓强;;云计算环境下的容错并行Skyline查询算法研究[J];计算机科学与探索;2011年09期
16 周当;范曦;李鹏;贺立;;ABB传动控制系统在水箱式拉丝机上的应用[J];自动化博览;2011年08期
17 毕冉;李建中;程思瑶;;无线传感器网络(ε,δ)-近似Top-k查询处理算法[J];通信学报;2011年08期
18 盘青梅;;大型表SQL查询的优化与用户编写策略[J];太原城市职业技术学院学报;2011年08期
19 姜伟;吴波;郝春梅;;基于移动自组网的数据库系统关键技术研究[J];经济研究导刊;2011年23期
20 陈晓明;;分布式数据库分片关系变换查询优化[J];电子设计工程;2011年08期
中国重要会议论文全文数据库 前10条
1 陈红;王珊;;多阶段并行多查询处理框架[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
2 夏添;蔡文渊;徐林昊;钱卫宁;周水庚;周傲英;;P2P环境下的查询处理代价估算[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
3 杜蓓;陈飞波;钱卫宁;周傲英;;基于对等计算技术的内容共享与搜索[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
4 韩璐;王朝坤;邹鹏;徐亚军;;不确定图数据上的不确定查询处理[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
5 熊蜀光;李建中;王宏志;高宏;;一种基于编码的图模型XML数据的存储与查询处理方法[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
6 杜蓓;钱卫宁;蔡文渊;周傲英;;对等计算环境中动态数据的一致性保持[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
7 朱金清;王伟;周军锋;孟小峰;;基于相关性语义的高效XML Twig查询处理方法[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
8 姚建中;孙建伶;姜忠鼎;董金祥;;OSCAR路径表达式的查询处理[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
9 肖刚;庄严;郑振楣;石树刚;;SamBase中的对象查询处理[A];数据库研究与进展95——第十三届全国数据库学术会议论文集[C];1995年
10 王潇;卢阳;陈立军;;网内查询处理中的一种基于数据流共享的过滤查询算法[A];第26届中国数据库学术会议论文集(B辑)[C];2009年
中国博士学位论文全文数据库 前10条
1 钱卫宁;对等计算系统中的数据管理[D];复旦大学;2004年
2 徐林昊;对等计算系统中的相似查询处理研究[D];复旦大学;2005年
3 周世杰;对等计算中的分布式路由算法及其安全性研究[D];电子科技大学;2004年
4 凌波;基于对等计算的信息检索技术[D];复旦大学;2004年
5 李瑞轩;异构信息集成中的查询处理与优化研究[D];华中科技大学;2004年
6 吴爱华;不一致数据的查询处理[D];复旦大学;2010年
7 詹敏;基于对等计算的企业应用集成系统的研究与实现[D];中国科学院研究生院(软件研究所);2002年
8 刘喜平;XML文档搜索中的查询处理技术研究[D];江西财经大学;2010年
9 陶春;半结构化数据集成系统中的查询处理研究[D];复旦大学;2004年
10 宫学庆;基于Bloom Filter的路径表达式查询处理[D];复旦大学;2006年
中国硕士学位论文全文数据库 前10条
1 孟清;基于语义缓存的并行查询技术的设计与实现[D];国防科学技术大学;2004年
2 陈庆华;B1级安全数据库安全机制的研究[D];哈尔滨工程大学;2004年
3 姜国伟;数据库电子商务性能测评系统ACID子系统实现和MySQL与PostgreSQL查询处理分析[D];吉林大学;2005年
4 马嘉;数据流管理原型系统的设计与实现[D];西南交通大学;2006年
5 张立杰;数据流中适应性查询处理机制的研究[D];辽宁大学;2006年
6 陈磊松;面向高速网络的数据流处理系统研究与应用[D];厦门大学;2007年
7 袁靓;Deep Web信息集成关键技术的研究[D];中南大学;2008年
8 张晋;传感器网络的数据管理的研究[D];哈尔滨工程大学;2006年
9 李晓荣;分布式数据库在管理信息系统中的研究与探讨[D];吉林大学;2006年
10 黄河;基于嵌入式系统的高效数据库设计与研究[D];西北工业大学;2003年
中国重要报纸全文数据库 前10条
1 奎儒;国际邮件查询处理问答[N];中国邮政报;2002年
2 奎儒;国际邮件查询处理问答[N];中国邮政报;2002年
3 ;高性能平台上的舞者[N];网络世界;2003年
4 本报记者 刘学习;Sybase ASE15从容面对数据爆炸[N];计算机世界;2005年
5 熊俊;P2P重塑网络共享[N];中国计算机报;2002年
6 清华大学 杨广文/国防科技大学 黄大正 肖侬;P2P计算深入底层与边缘[N];计算机世界;2002年
7 王泽蕴李琨;IBM院士王云:数据库的下一代技术一点也不炫[N];中国计算机报;2007年
8 ;Sybase新一代数据库ASE15简介(二)[N];计算机世界;2005年
9 中科院计算所 罗杰文;P2P:互联网时代的计算革命[N];计算机世界;2006年
10 哈尔滨工业大学计算机科学与工程学院 李建中 石胜飞;移动计算环境中的数据管理[N];计算机世界;2002年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978