收藏本站
《华中科技大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

对等网络分布式缓存机制研究

高国强  
【摘要】:对等网络(Peer-to-Peer Network, P2P)是一种分布式网络,构建在物理网络之上的逻辑覆盖网络,网络上的各台计算机有相同的功能,互相共享各种资源。虽然被大量研究,但是由于网络结构的复杂性,对等网络的资源搜索效率比较差的问题依然存在。同时,随着P2P应用的迅速增长,对等网络系统已经成为互联网上最大的带宽消费者。提高P2P搜索效率,减轻互联网主干通信压力,增加用户的访问体验,已成为P2P应用中亟待解决的重要问题。缓存技术是解决这些问题的一种有效的方法。尽管基于中心服务器的集中式缓存策略已经比较成熟,但针对P2P系统的分布式缓存机制研究还处于起步阶段。 非结构化P2P网络的基本搜索机制是洪泛,这样的策略具有较低的搜索效率。为了改善搜索效率和减少系统开销,提出了一种基于非结构化P2P网络的分布式缓存机制,包括基于位置的拓扑构造、三维偏好随机游走、最大时延缓存放置策略、基于热度和请求的缓存替换策略。在拓扑构造上,聚集位置相近节点,以形成不同的子网;搜索时偏向于在子网内搜索,以获得更短的查询时延;在决策缓存放置节点时,选择离目标节点更远的节点,以提高缓存命中率;在缓存替换时,优先替换高频资源,防止出现过度缓存问题。通过模拟实验对提出的算法进行了仿真,并与其他算法进行了对比分析,结果显示提出的算法有更好的查询命中率、较小的查询时延、较高的缓存命中率和较低的通信开销。 为了提高结构化P2P网络的整体性能,提出了一种基于结构化P2P网络的分布式缓存方法。通过使用分层的分布式哈希表(Distributed Hash Table, DHT)路由结构,可以为具有不同拥有率(资源在网络中的副本数量与网络规模的比值)的各种资源建立足够数量的缓存,并小心地选择合适节点来存放这些缓存,以提高缓存效率。通过对不同算法和启发式算法的模拟实验发现,结合分层DHT路由结构,提出的缓存策略可以有效地减少查询时延、获得更好的负载平衡和较好的缓存命中率,同时也有效地缓解了过度缓存问题带来的负而冲击,可以较好地为大部分资源提供满意的缓存性能。 绝大部分P2P分布式缓存机制都是被动缓存,即只有当一个资源被请求时才会触发缓存操作,这将导致稀有资源缓存不足,因为稀有资源被请求的频率比较低。然而在很多情况下,稀有资源是非常有价值的,比如P2P文件共享和P2P流媒体应用中的稀有块。为了提高稀有资源的搜索效率,提出了主动缓存策略和稀有资源搜索算法,它需要更少的缓存副本数量,从而可以减少缓存机制带来的系统开销。模拟实验结果显示通过提出的算法,能大大地改进对稀有资源的搜索效率,搜索命中率达到98%以上;同时又能将通信开销维护在一个较低的水平,相比已有算法,可以减少近40%的通信流量。 基于P2P的流媒体和文件共享已经越来越流行,而且这些应用的规模也越来越大,对互联网影响也越来越重要。然而,由于现有的大规模P2P应用大都是商用系统,这些应用的协议、架构和算法大多都是不公开的,使得分析这些系统、发现问题和解决瓶颈变得非常困难。大量研究使用黑盒方式来测量和评估这些系统的特性,比如下载性能、用户分布、会话长度等。为了涵盖更多的测量尺度,研究了对等网络测量机制,提出了通用的对等网络测量模型,并针对不同热度的资源使用提出的模型进行了验证实验。测量尺度包括数据传输率、缓存机制、节点位置分布、会话长度等,通过这些测量结果可以为分布式缓存研究提供支持,也可以为其他研究者提供帮助。
【学位授予单位】:华中科技大学
【学位级别】:博士
【学位授予年份】:2011
【分类号】:TP393.02

【引证文献】
中国硕士学位论文全文数据库 前5条
1 彭灿灿;SDN控制器集群下分布式缓存系统的设计与实现[D];东南大学;2017年
2 王强;基于层次结构的移动学习资源合作缓存策略研究[D];华中师范大学;2014年
3 柴启峰;基于多级chord的物联网ONS解析系统研究与实现[D];武汉理工大学;2014年
4 刘玄;分布式数据缓存机制的研究和设计[D];湖南大学;2013年
5 童丽霞;基于智能终端的Widget关键技术研究[D];宁波大学;2012年
【参考文献】
中国期刊全文数据库 前1条
1 刘威;Chun Tung Chou;程文青;杜旭;;交互式流媒体代理缓存[J];计算机研究与发展;2006年04期
【共引文献】
中国期刊全文数据库 前5条
1 袁和贵;黄铁;;基于增益概率的P2P流媒体缓存管理方法[J];科技创新导报;2010年23期
2 杨戈;廖建新;朱晓民;樊秀梅;;流媒体分发系统关键技术综述[J];电子学报;2009年01期
3 许长桥;吴志美;李凯慧;张源海;;支持随机访问的协作式P2P流媒体分发策略[J];通信学报;2008年08期
4 吴艾;刘心松;符青云;刘克剑;;DPVoD:基于P2P的视频点播体系结构[J];计算机研究与发展;2008年02期
5 夏卓群;项洁;范开钦;邓广慧;;基于集群的流媒体缓存代理服务器体系结构[J];计算机应用;2007年11期
【同被引文献】
中国硕士学位论文全文数据库 前10条
1 王瑞雪;面向数据中心的软件定义网络技术研究[D];北京交通大学;2017年
2 陈冷;一体化标识网络中映射缓存一致性研究[D];北京交通大学;2017年
3 覃佐曼;基于SDN的数据中心网络多路径负载均衡的研究[D];大连海事大学;2017年
4 金冉冉;云计算平台中内存缓存系统的设计与实现[D];电子科技大学;2016年
5 周巧俊;RESTful Web服务开放平台的设计与实现[D];浙江大学;2016年
6 曹洲;基于数据序列化与字符串压缩的移动数据传输优化方案研究与实现[D];中国海洋大学;2015年
7 刘伦;基于SOA架构的OSGi平台的研究与应用[D];电子科技大学;2015年
8 程争光;基于BIND和SQUID技术的CDN在电信网络中的应用[D];北京邮电大学;2015年
9 毛乔;Infinispan缓存技术在IPTV认证鉴权系统中的应用研究[D];武汉理工大学;2014年
10 曾敏;物联网中基于P2P区域索引机制的信息查询方法[D];华南理工大学;2013年
【二级引证文献】
中国硕士学位论文全文数据库 前10条
1 刘金;大规模集群状态时序数据采集、存储与分析[D];北京邮电大学;2018年
2 高磊;基于移动互联网的经络检测硬件平台的研究[D];北京邮电大学;2018年
3 游伟东;面向地理模型分布式集成应用的数据配置与交换方法研究[D];南京师范大学;2017年
4 黄霞;基于跨平台的税务系统的数据交互技术应用[D];湖北大学;2017年
5 任志栋;科研文献推荐平台的数据缓存技术研究[D];北京邮电大学;2017年
6 胡雪婧;基于ZooKeeper的分布式系统的消息发送机制的设计与实现[D];吉林大学;2016年
7 李坤;面向ViWo的海量数据存储与管理机制[D];河南大学;2016年
8 董子阳;空气能热水器远程控制系统的研究与设计[D];华南理工大学;2016年
9 蒋重阳;面向小微企业的通用物联网通讯系统设计与实现[D];华南理工大学;2016年
10 张奔;多点分布式通信与控制技术研究[D];北京邮电大学;2016年
【相似文献】
中国期刊全文数据库 前10条
1 王敬贤;;基于结构化P2P的VOD系统消息缓存机制[J];电脑知识与技术;2011年01期
2 蔡政忠;郭姝含;张宇平;李錚錚;;古文物缓存机制:文化公益组织介入文物交易市场的抢救经验谈[J];攀枝花学院学报;2018年04期
3 蔡涛;张永春;倪晓蓉;牛德姣;梁东莺;周东明;;面向非易失存储器外存系统的缓存机制[J];小型微型计算机系统;2014年09期
4 黄富洁,李玉忱,巩垒;决策支持系统中的分布式缓存机制[J];计算机工程;2004年13期
5 周凡夫;管海兵;朱二周;;GlusterFS缓存机制研究[J];计算机应用与软件;2012年07期
6 陈阳;赵琛;窦燕;俞诗鹏;林作铨;;基于角色访问控制模型的缓存机制研究[J];计算机工程;2006年12期
7 吴力挽;胡俊峰;;一种双路XML缓存机制设计与实现[J];硅谷;2012年09期
8 宋青书;;Google Picasa技巧二则[J];电脑迷;2005年17期
9 马可;张纪九;;探索ASP.NET下的缓存机制[J];程序员;2003年05期
10 王峰;王大羽;李平;朱海;;一种提高僵尸网络鲁棒性的对等网络拓扑结构[J];计算机安全;2012年09期
中国重要会议论文全文数据库 前10条
1 杨丽;章勇;;P2P系统研究[A];2009全国计算机网络与通信学术会议论文集[C];2009年
2 曹伟;应君;董黎刚;;Hibernate的缓存机制及其应用的研究[A];浙江省电子学会2013学术年会论文集[C];2013年
3 王振旗;王贺;肖柏旭;;状态缓存机制在结构化P2P系统中的应用[A];2006年全国开放式分布与并行计算学术会议论文集(二)[C];2006年
4 赵葆华;林海旦;陈海永;;移动对等网络数据检索新方法研究[A];2006年全国开放式分布与并行计算学术会议论文集(二)[C];2006年
5 张国峰;林新;王行仁;;分级多联邦系统的树拓扑结构研究[A];加入WTO和中国科技与可持续发展——挑战与机遇、责任和对策(下册)[C];2002年
6 王东升;;浅谈P2P技术发展对网监工作带来的影响及对策[A];第二十次全国计算机安全学术交流会论文集[C];2005年
7 江小芳;刘深泉;沈力;;锥体神经元拓扑结构的发放特性分析[A];第一届全国神经动力学学术会议程序手册 & 论文摘要集[C];2012年
8 李文清;张常有;段淑凤;;一种分布式Web服务内容的匹配方法研究[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年
9 刘小虎;顾乃杰;毕坤;刘刚;汪秉宏;;互联网中国大陆地区自治系统级拓扑结构推导与分析[A];2006全国复杂网络学术会议论文集[C];2006年
10 马晓梅;刘莹;;P2P及其对网络传播的影响[A];山东省计算机学会2005年信息技术与信息化研讨会论文集(一)[C];2005年
中国重要报纸全文数据库 前10条
1 刘宇红;利用SBS改造对等网络[N];中国计算机报;2001年
2 本报记者 刘春辉;管理与应用——IPv6面临的最大挑战[N];人民邮电;2003年
3 伍班权;对等网络(P2P)的三大应用[N];计算机世界;2002年
4 中科院计算所 罗杰文;P2P网络的拓扑结构[N];计算机世界;2006年
5 本报记者 姜波;P2P,迈进企业的未来[N];网络世界;2001年
6 四川 李定川;建立Win2000对等网络[N];电脑报;2003年
7 胡德荣;中德科学家联手分析蛋白质拓扑结构和功能[N];健康报;2006年
8 上海交通大学金桥网络工程中心 李振武 白英彩;影响Internet未来的对等网络(P2P)[N];计算机世界;2002年
9 ;竞开协同之星(GK-Star)独特的网络技术架构 扩展对等网络[N];中国计算机报;2004年
10 晴雪;打造真正的入门级无线打印解决方案[N];国际商报;2005年
中国博士学位论文全文数据库 前10条
1 高国强;对等网络分布式缓存机制研究[D];华中科技大学;2011年
2 张萌;智慧协同网络中缓存机制与算法研究[D];北京交通大学;2015年
3 艾武;对等网络上的分布式合作学习[D];西安电子科技大学;2017年
4 杨舰;对等网络有效搜索机制研究[D];复旦大学;2004年
5 吴宇;对等网络内容搜索及索引缓存研究[D];中国科学院研究生院(计算技术研究所);2006年
6 陈海涛;对等网络中的内容搜索、定位和下载技术研究[D];国防科学技术大学;2005年
7 李江涛;对等网络性能测量与改善[D];北京邮电大学;2006年
8 刘洁;对等网络环境下基于语义的异构数据管理模型[D];中国科学院研究生院(计算技术研究所);2005年
9 卢苇;对等网络分组搜索算法研究[D];四川大学;2006年
10 熊继平;对等网络中路由机制及关键技术研究[D];中国科学技术大学;2006年
中国硕士学位论文全文数据库 前10条
1 高翔;面向SSD的非易失缓存机制的研究与实现[D];国防科学技术大学;2016年
2 陈爱伦;车载内容中心网络下抗污染协作缓存机制研究[D];大连理工大学;2018年
3 胡婷婷;以内容为中心的新型网络架构设计与缓存机制研究[D];中国科学技术大学;2017年
4 王好齐;POF-ICN网络中的业务分区缓存机制研究[D];中国科学技术大学;2017年
5 雷雪莼;以信息为中心的传感网缓存机制设计与实现[D];北京邮电大学;2016年
6 单中元;面向集群系统的分布式缓存机制的研究[D];东北大学;2010年
7 谢海洋;面向分布式数据库的自适应多级缓存机制研究[D];华中科技大学;2013年
8 孙晓静;基于对等网络的搜索引擎关键技术研究[D];中国海洋大学;2010年
9 张浩;结构化对等网络的安全性与匿名性研究[D];大连理工大学;2009年
10 向俊凌;结构化对等网络复杂查询机制的研究[D];电子科技大学;2006年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026