收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

常数度P2P系统负载均衡与拓扑优化技术研究

王小海  
【摘要】:P2P技术是自上世纪末兴起的一种网络计算技术,强调所有节点具有对等的功能,与传统分布式计算技术(如C/S、B/S等)相比更能充分利用和发挥网络边缘、闲散资源的能力,从而引起了从工业界、学术界到普通网络用户的广泛关注。常数度P2P系统采用第三代结构化P2P技术,常量级的节点度数保证了系统在实现高效路由的同时具备稳定性强、控制信息少、网络负载小等优点,在近几年逐渐成为P2P领域的后起之秀和研究热点。然而,由于作为系统拓扑基准的各种常数度图定义相对严格,现有相关研究多集中于系统设计、构建与维护,针对上层应用的优化与支持研究相对较少,这很大程度制约了常数度P2P的应用与发展。本文将对常数度P2P系统的负载均衡与拓扑优化技术展开深入研究,针对尚未解决的以下四个关键问题提出解决方案: 如何构建均衡的拓扑。所有DHT方法中均包括ID分配方法来为新加入节点选择合适的ID。作为实现与维护DHT overlay的基础,理想的ID分配方法有利于系统负载均衡,保证ID在命名空间的均匀性。然而,常数度图de Bruijn与Kautz的移位路由特性决定了不能采用已有方法进行ID分配,而且为实现正确与高效路由,常数度P2P系统必须保证拓扑中节点ID长度尽量相同。本文提出基于Routing Forest结构的一种常数度DHT ID分配方法。利用该结构中非叶节点聚合拓扑局部均衡信息,通过参考该信息,新加入节点采用一种ID二次分配算法选择合适的ID以保证全局节点均衡,从而有机地结合了常数度拓扑结构特点,利用较低的消息开销与节点加入开销保证了最优的拓扑直径,控制拓扑中ID长度差在2以内,达到了良好的拓扑均衡效果,并且可以方便地扩展为DHT构建、维护及负载均衡技术。 如何实现数据负载的均衡。负载均衡是避免个别节点存储过载成为系统瓶颈,确保系统发挥其性能的重要保证,然而,已有方法或者不能动态适应不同的负载分布,或者平衡开销过大,或者不能满足常数度P2P对均衡拓扑的要求。针对该问题,本文结合常数度P2P的特点提出基于路由信息统计的负载均衡算法。其基本思想是通过路由过程进行信息统计,并结合虚拟节点与负载重定向技术实现负载均衡。具体包括:1)在节点加入过程中统计得出系统中节点平均能力,将强能力节点划分为相应数量的虚拟节点,并基于反向生成树将各虚拟节点快速均匀地加入系统,从而利用低开销保证了节点负责空间的大小正比于其能力;2)在数据加入过程中依据路由路径中所有节点的负载信息确定数据对象是否需要及如何重定向存储,并针对热点数据提供了构造新加入路由路径的方法,从而利用少量消息开销实现了不同数据分布下各节点轻载或具有相同的负载率。实验表明,该算法的节点加入开销小于虚拟节点技术,而且利用更少量的数据重定向及消息开销实现了比多散列技术更好的均衡效果。 如何使系统支持以区间查询为主的复杂查询。越来越多的应用要求结构化P2P系统不再仅限于关键字查询,而且能够提供各种复杂查询能力。数据局部性是支持结构化P2P复杂查询的重要条件,然而特殊的节点命名与路由方式使得沿用经典构建方法的常数度P2P系统数据局部性不佳,导致复杂查询的消息开销与节点占用率过大。针对这一问题,本文从P2P的逻辑构建过程进一步分析数据局部性,然后在不改变底层DHT拓扑结构的前提下,从改善数据局部性出发提出一种通用的面向高效复杂查询的常数度P2P构建优化方法,通过在数据层与DHT overlay间添加嵌入变换逻辑层,将拓扑结构信息引入构建过程以改善数据局部性。同时为验证该技术的有效性,采用此技术重构第一个基于Kautz图的DHT——FissionE,并在此基础上设计了相应的数据节点匹配、资源重分配、区间查询及局部性维护等算法。分析与实验结果表明,该方法可以在不改变底层DHT或增加类前缀哈希树(PHT)的新逻辑层次的基础上确保数据在P2P系统中分布的局部性,有效优化复杂查询,达到减少复杂查询节点交互开销、提高常数度P2P系统查询效率的目的。 如何构建延迟匹配的常数度P2P拓扑。延迟匹配技术通过使overlay与物理网络尽量匹配以减少节点通信开销和路由延迟。然而,由于常数度图的特殊标识与路由方式等原因,已有的各种匹配技术并不能直接用于常数度P2P系统。针对该问题,本文提出面向延迟匹配的层次化拓扑构建方法CO-FissionE。在CO-FissionE中,节点首先聚类成簇并组成低层FissionE overlay,然后由“下界重合”规则确定高层的簇间链接以保证高效的簇间通信。该规则同时限定了簇间邻居的最大值,因此选取常数度拓扑作为簇间overlay便能够确保各节点度数仍为常数量级。同时,针对内部存在层次化结构的簇,提出子簇融合方法以高效构建符合其延迟特点的层次化结构。其思想在于一定程度上放松簇中高层拓扑的均衡要求以减少重定向节点的数量,同时有效利用已加入节点信息来引导未加入节点。理论分析与实验表明CO-FissionE通过有限开销有效地实现了与底层网络的延迟匹配,降低了查询开销,而且子簇融合方法能够在保证簇内部延迟匹配的同时大大提高融合效率。CO-FissionE方案既保留了原有FissionE常数度拓扑在逻辑路由上的优点,又增强了数据通信的本地性,提高了系统的管理与路由效率,而且其思想可以应用到其他常数度P2P或者结合其他优化技术。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 汪永琳;;超节点结构P2P中负载均衡的信息索引机制[J];计算机工程与科学;2009年08期
2 张伟文;金鑫;吴国新;;一种基于P2P的视频点播系统的研究与设计[J];计算机技术与发展;2007年02期
3 谢文君;徐静;吴沉寒;;一种基于Chord优化的空间数据存储方法[J];计算机应用;2007年03期
4 陈勤;林朝炽;徐明;;基于P2P的入侵警报发布/订阅系统[J];计算机工程与科学;2009年12期
5 闫旭;;CDN互联网新兴网络技术的研究[J];电视工程;2007年02期
6 熊继平;齐庆虎;洪佩琳;李津生;;内容寻址网络中几种负载均衡优化方法[J];电子与信息学报;2006年08期
7 朱强;颜志军;;基于P2P的校园信息共享平台的网络拓扑设计[J];网络安全技术与应用;2007年09期
8 冯君;禹继国;;P2P技术的分析与研究[J];福建电脑;2008年06期
9 王煜坤;;基于CDN和P2P技术的流媒体系统设计[J];现代计算机(专业版);2009年03期
10 阎文博;张育平;郭朝霞;;基于网格技术的资源发现机制的研究与优化[J];计算机技术与发展;2007年07期
11 杜玲;谭俏男;;一种P2PMMOG带有负载均衡的事件分发算法[J];沈阳航空工业学院学报;2009年02期
12 杜敏;;基于P2P的贝叶斯网络检测模型研究[J];宜春学院学报;2010年12期
13 王继曾,张秋余,杨俊秀,王娜;一种基于语义的负载均衡调度算法[J];甘肃工业大学学报;2003年04期
14 杨晓军;;全局服务负载均衡策略的常见技术及应用[J];中国科技信息;2004年22期
15 陈利兵;张阳安;黄永清;李玲;任晓敏;;基于遗传算法的静态逻辑拓扑设计[J];北京邮电大学学报;2006年01期
16 沙波;刘杰;;负载均衡技术在WAP网关中的应用[J];北京工商大学学报(自然科学版);2006年04期
17 郭丽娜;钱华林;葛敬国;王兴杰;张道庆;;基于网络处理器的入侵防护系统的设计与实现[J];微电子学与计算机;2006年11期
18 田波;;MPLS负载均衡实现技术[J];信息安全与通信保密;2007年05期
19 袁爱军;王钢;;单出口双核心冗余网络环境的负载均衡[J];中国教育网络;2007年10期
20 彭勤涛;龚奇夫;;论局域网的优化[J];沙洋师范高等专科学校学报;2007年05期
中国重要会议论文全文数据库 前10条
1 王浩;;基于Agent的P2P文件共享系统的研究[A];2009年研究生学术交流会通信与信息技术论文集[C];2009年
2 季磊;谭庆平;;一种针对CDN系统的负载均衡解决方案[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
3 张敏;郭军华;陈飞;;Linux集群技术研究与应用[A];电工理论与新技术2004年学术研讨会论文集[C];2004年
4 马婕;蒋青;唐伦;陈前斌;;用多代理联盟解决泛在网络的负载均衡[A];2009年全国无线电应用与管理学术会议论文集[C];2009年
5 赵立芳;马向南;;WLAN中双链路负载均衡的研究与应用[A];中国通信学会第六届学术年会论文集(下)[C];2009年
6 陈明;王振武;;基于.NET Remoting技术的分布式构件库模型[A];2007年全国开放式分布与并行计算机学术会议论文集(上册)[C];2007年
7 史军晖;程良伦;;EASNS:一种能量敏感、负载均衡的感知节点调度算法[A];中国自动化学会中南六省(区)2010年第28届年会·论文集[C];2010年
8 翟晓波;杨放春;;Parlay Framework中基于负载感知的业务发现方法[A];2005通信理论与技术新进展——第十届全国青年通信学术会议论文集[C];2005年
9 徐萌;孟祥武;陈俊亮;梅翔;;综合业务平台负载均衡的研究[A];2006年全国通信软件学术会议论文集[C];2006年
10 郑旭明;胡光岷;;基于链路丢包率估计的Ad Hoc网络负载均衡路由[A];2008年中国西部青年通信学术会议论文集[C];2008年
中国博士学位论文全文数据库 前10条
1 王小海;常数度P2P系统负载均衡与拓扑优化技术研究[D];国防科学技术大学;2010年
2 高磊;P2P工作流系统中的资源搜索及负载均衡优化研究[D];山东大学;2010年
3 于婧;一种新型结构化P2P网络路由模型的构建及其支撑技术研究[D];解放军信息工程大学;2007年
4 彭利民;基于Cayley图的无线P2P覆盖网络模型及相关技术研究[D];华南理工大学;2011年
5 张泽华;云计算联盟建模及实现的关键技术研究[D];云南大学;2010年
6 杨际祥;并行与分布式计算负载均衡问题研究[D];大连理工大学;2012年
7 刘佳琦;移动P2P覆盖网拓扑结构及节点合作保障机制研究[D];中南大学;2012年
8 王向辉;P2P网络拓扑结构研究[D];哈尔滨工程大学;2008年
9 曲磊;有结构P2P网络中一跳路由机制的研究[D];北京邮电大学;2011年
10 曲磊;有结构P2P网络中一跳路由机制的研究[D];北京邮电大学;2011年
中国硕士学位论文全文数据库 前10条
1 吕月梅;结构化P2P系统的负载均衡策略的研究[D];北京邮电大学;2011年
2 梁飞;信息分发网格的副本管理和负载均衡[D];电子科技大学;2008年
3 张静;文化算法在P2P教育平台负载均衡中的研究与应用[D];北方工业大学;2010年
4 赵璟寰;P2P文件存储系统负载均衡技术研究[D];哈尔滨工程大学;2010年
5 吴善鹏;结构化P2P系统的负载均衡技术研究[D];西安电子科技大学;2009年
6 吴志恩;基于蚁群算法的P2P负载均衡研究[D];华南理工大学;2010年
7 张永辉;DHT服务器集群系统的负载均衡研究[D];北京邮电大学;2011年
8 胡利军;Web集群服务器的负载均衡和性能优化[D];北京邮电大学;2010年
9 周顺;面向Web Service的负载均衡策略研究[D];湖南大学;2010年
10 冯青峰;基于Java RMI的分布对象负载均衡研究与实现[D];西安电子科技大学;2002年
中国重要报纸全文数据库 前10条
1 于开年 张国才 史韶惠;路由器实现线路负载均衡[N];网络世界;2002年
2 何支涛;牵手:反垃圾、Web防御、负载均衡[N];网络世界;2008年
3 本报记者 边歆;随需而变 创新不止[N];网络世界;2009年
4 本报记者 张旭军;博科负载均衡新品的四大优势[N];网络世界;2010年
5 ;负载均衡让宝钢网络不再中断[N];网络世界;2007年
6 张旭军;根深枝茂[N];网络世界;2007年
7 新疆财经学院 孙彬;负载均衡的电子商务技术[N];新疆科技报(汉);2001年
8 河北省沙河市二十冶高中 于江波;负载均衡[N];中国电脑教育报;2004年
9 F5金融行业解决方案咨询经理 扬明飞;给应用加份“保险”[N];网络世界;2007年
10 ;Array负载均衡助中石油加油卡系统[N];人民邮电;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978