收藏本站
《华中科技大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

基于服务角色的P2P节点识别方法研究

刘峰  
【摘要】: 对等(Peer-to-Peer, P2P)网络在因特网上蓬勃发展,在方便用户的同时也占用了大量的网络带宽。为保证资源利用的公平性,必须对过大的P2P流量进行控制。P2P识别作为P2P流量控制的前提已成为一个重要的、开放的研究问题。目前,基于端口的检测方法不能识别采用动态端口机制的P2P应用。深层数据包检测方法虽已较成熟但既不能识别内容加密的P2P应用,也不适用于大流量环境。而基于行为的检测方法,不是通过端口号或数据包内容,而是通过传输层统计特征识别P2P节点,是当前研究的热点。但是,相关算法存在四个主要问题:一是主要基于P2P节点的客户角色,不能识别那些仅做数据上传的扮演纯服务角色的P2P节点;二是仅能区分P2P与非P2P应用,而不能识别具体应用类型;三是不能满足大流量环境下实时P2P应用识别的要求;四是一些识别方法未考虑国内P2P应用及其网络环境。 归纳出P2P服务角色的六个特征。P2P网络的本质在于对等与直连,P2P节点既是服务器又是客户端,其服务角色的基本特征为:(1)存在监听端口和大量反向连接,且监听端口大多为高号端口;(2)存在大量重负载、长持续时间的反向连接;(3)活跃节点具有较高的服务率;(4)其对端节点的不同IP (Internet Protocol,因特网协议)地址数与不同端口数大致相等;(5)正向与反向连接共存;(6)存在大量同时上传与下载的反向连接。上述特征通常表现为传输层的连接行为。对服务角色的上述特征进行量化和形式化描述,用概率统计方法预测其理论分布。根据特征随机变量的试验样本,采用似然估计方法计算出相应的分布参数,并通过柯尔莫诺夫—斯米尔诺夫检测选择出一个理想的拟合分布。 设计出处理连接的流水并行方法。采用连接构建与更新算法,实现P2P高速采样,满足大流量环境下实时处理的需求。提出了一种连接哈希表构建与更新算法,平衡新到的连接与超时丢弃的连接,使内存中存储的连接数量趋于稳定。将数据处理分为连接构建与连接分析两个阶段,采用并行流水的方式提高了计算效率。充分利用P2P节点在线时间的分布特点,分别从时间、空间两个角度对网络数据进行有选择采样,以削减后续的数据处理量。实验结果表明,上述方法在30秒(速率1Gbps)采样间隔内,能识别出92%左右的P2P节点。但随着采样间隔时间的增大,P2P节点识别的准确率会随之降低,这是由于P2P节点在线时间分布的重尾特性所决定的。 提出一种基于服务角色特征的P2P节点识别算法—PN-Detector。首先,服务角色节点具有大量客户节点及反向连接,且连接模式与客户角色节点有较大不同。基于以上特征识别出具有服务角色的网络节点。接着,采用时间序列检验算法,分别利用连接持续时间、连接负载、正向与反向连接比、反向连接中的上传下载比及服务率等进行P2P节点识别,并根据识别的准确率为以上各连接属性赋予权值,准确率越高权值越大。进而设计出改进的时间序列检验算法。综合利用赋予权值后的连接属性,可较准确的识别出P2P节点。最后,根据P2P服务端口中正向反向连接共存,其对端节点的不同IP地址数与不同端口数相近等特征识别出了P2P服务端口。实验结果表明,PN-Detector算法能较准确实时地识别出P2P节点及其服务端口,特别对仅做数据上传的P2P节点仍然能准确识别。 提出一种多支持向量机P2P连接识别算法—Multi-SVM。通过对P2P应用分片机制的分析发现,在其连接的传输中,长数据包与短数据包常常有规律出现,且各分片之间在传输过程中存在较长的时间间隔。Multi-SVM算法分别采用不同的向量来描述数据包长度、连续传输的长数据包数、长数据包时间间隔等连接属性,进而构建了一个识别P2P连接的多支持向量机。同时,Multi-SVM算法采用离线与在线相结合的训练模式,以减小网络环境对检测结果的影响。进一步,不同应用层协议产生的连接具有不同的统计特征集,基于这些应用特征集,提出了P2P连接分类算法—FCP。它采用一种标准化的阈值计算方法来判断P2P连接的具体类型,克服了人工设置阈值的缺点。实验表明,采用上述算法不仅能准确识别出P2P连接,还能对P2P连接根据应用类型进行分类。 提出一种基于滑动窗口的P2P应用特征码自动提取算法—SWE。它将P2P应用中的每个数据包均看作一个二进制序列,首先用定宽窗口以单字节为滑动步长把每个二进制序列划分为若干子序列,然后计算各子序列在不同数据包的相同偏移位置处出现的频率。改变窗口宽度,重复以上过程,并把出现频率及长度均满足预定条件的子序列作为P2P应用的特征码。实验结果表明SWE算法能够较准确有效地提取P2P应用特征码。 基于以上方法,还设计出P2P识别及特征码自动提取原型系统,主要包括数据采集及过滤模块,P2P识别模块,特征码自动提取和反馈模块。原型系统已投入试运行,其识别率在90%以上。
【学位授予单位】:华中科技大学
【学位级别】:博士
【学位授予年份】:2010
【分类号】:TP393.02

【引证文献】
中国硕士学位论文全文数据库 前3条
1 彭雪莲;P2P流量特性分析及检测研究[D];西南交通大学;2011年
2 周智昊;分布式实时P2P检测系统研究与实现[D];华中科技大学;2011年
3 黄亮;一个基于UDP协议的P2P即时通讯软件的设计与实现[D];华中科技大学;2011年
【参考文献】
中国期刊全文数据库 前9条
1 陆庆;周世杰;秦志光;吴春江;;对等网络流量检测技术[J];电子科技大学学报;2007年06期
2 徐鹏;刘琼;林森;;改进的对等网络流量传输层识别方法[J];计算机研究与发展;2008年05期
3 雷蕾;沈富可;;基于连接特征的P2P流媒体应用的识别[J];计算机应用;2007年S2期
4 刘亚杰;王晖;郭波;;P2P流媒体数据调度研究综述[J];计算机应用;2008年04期
5 刘琼;徐鹏;杨海涛;彭芸;;Peer-to-Peer文件共享系统的测量研究[J];软件学报;2006年10期
6 宫婧;孙知信;陈二运;;一种基于流量行为分析的P2P流媒体识别方法[J];计算机技术与发展;2009年09期
7 柳斌;李之棠;涂浩;;一种基于半监督学习的应用层流量分类方法[J];微电子学与计算机;2008年10期
8 宫婧;孙知信;顾强;;基于行为特征描述的P2P流识别方法的研究[J];小型微型计算机系统;2007年01期
9 刘元珍;刘渊;李小航;;基于抽样和Bloom Filters的长流检测[J];小型微型计算机系统;2009年03期
中国博士学位论文全文数据库 前1条
1 周丽娟;P2P流媒体识别方法的研究[D];华中科技大学;2008年
【共引文献】
中国期刊全文数据库 前10条
1 方群;吴国新;于坤;张三峰;;P2P文件污染的Markov生灭模型[J];东南大学学报(自然科学版);2008年04期
2 欧阳广;;P2P网络流量检测技术探究[J];电脑知识与技术;2009年11期
3 郦昊;程玉;;P2P网络及关键技术[J];电脑知识与技术;2009年28期
4 曲丽君;;基于Gossip协议的P2P流媒体系统[J];大庆石油学院学报;2009年02期
5 张珂;黄永峰;李星;;一种基于适应度和节点聚类的P2P拓扑建模方法[J];电子学报;2010年07期
6 王健;;新疆广电数据网络P2P数据流量分析与控制[J];广播与电视技术;2008年09期
7 胡婷;王勇;陶晓玲;;网络流量分类方法的比较研究[J];桂林电子科技大学学报;2010年03期
8 张龙璨;柳斌;李芝棠;;机器学习分类下网络流量的特征选取[J];广西大学学报(自然科学版);2011年S1期
9 谭红春;张仁斌;;校园网P2P流量综合检测及实时控制设计[J];河南工程学院学报(自然科学版);2010年03期
10 徐鹏;刘琼;林森;;改进的对等网络流量传输层识别方法[J];计算机研究与发展;2008年05期
中国重要会议论文全文数据库 前6条
1 张涵;张建标;张涛;;基于资源的集中式P2P网络节点测量研究[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
2 高长喜;辛阳;钮心忻;杨义先;;基于行为特征分析的P2P流量识别技术的研究[A];第一届中国高校通信类院系学术研讨会论文集[C];2007年
3 王栋;陈勇;徐建良;;基于预测的BitTorrent种子评估方法[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
4 王孝伟;唐学文;;P2P流量检测技术的研究[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
5 ;R2P:A Peer-to-Peer Transfer System Based on Role and Reputation[A];Proceedings of the First International Workshop on Knowledge Discovery and Data Mining[C];2008年
6 ;A Familiarity-based Heuristic Approach for P2P Peer Discovery[A];Proceedings of 2010 International Conference on Broadcast Technology and Multimedia Communication(Volume 1)[C];2010年
中国博士学位论文全文数据库 前10条
1 张宇翔;对等网络中Churn问题分析与研究[D];北京交通大学;2010年
2 陈贞翔;具有规模适应性的互联网流量识别方法研究[D];山东大学;2008年
3 吴杰;P2P流媒体内容分发与服务关键技术研究[D];复旦大学;2008年
4 周丽娟;P2P流媒体识别方法的研究[D];华中科技大学;2008年
5 韦冬;对等网络文件共享系统中的信誉机制研究[D];中国科学技术大学;2009年
6 贾晋康;基于探测和仿真的P2P用户和网络行为分析建模及安全性研究[D];北京交通大学;2009年
7 程斌;对等点播系统数据分发关键技术研究[D];华中科技大学;2009年
8 蒿敬波;对等结构的恶意蠕虫网络研究[D];国防科学技术大学;2008年
9 夏莹杰;基于P2P网格的新型科学计算基础架构研究[D];浙江大学;2009年
10 王杨;基于Agent的P2P网络管理关键技术研究[D];苏州大学;2009年
中国硕士学位论文全文数据库 前10条
1 王素云;基于特征进程的P2P流量识别方法研究[D];山东科技大学;2010年
2 汪艳丽;无结构P2P环境下文件副本管理研究[D];大连理工大学;2010年
3 李伟强;P2P中信任机制研究与设计[D];东华大学;2008年
4 闫宝华;隧道技术在P2P通信中的研究与应用[D];太原理工大学;2008年
5 刘先泼;基于排队论的P2P网络系统请求队列研究[D];西安电子科技大学;2008年
6 朱祎;加强Gnutella聚类性的启动算法的研究[D];南京理工大学;2008年
7 王子卿;P2P流识别与控制的研究与实现[D];中南大学;2008年
8 王栋;BitTorrent种子质量评估与检索系统设计[D];中国海洋大学;2008年
9 田茂泰;P2P网络性能监测研究与实现[D];贵州大学;2008年
10 简光垚;基于启发式识别的深层数据包检测P2P流的研究与实现[D];暨南大学;2008年
【同被引文献】
中国期刊全文数据库 前10条
1 李存华,孙志挥,陈耿,胡云;核密度估计及其在聚类算法构造中的应用[J];计算机研究与发展;2004年10期
2 宫婧;孙知信;顾强;;一种基于模糊评判规则的P2P流识别算法[J];计算机科学;2008年05期
3 韩志杰;王汝传;;一种新的P2P网络流量预测模型[J];计算机科学;2008年09期
4 张鑫;李进;王晖;;基于频道签名的P2P-TV流量精细识别[J];计算机工程;2010年24期
5 李晓黎,刘继敏,史忠植;基于支持向量机与无监督聚类相结合的中文网页分类器[J];计算机学报;2001年01期
6 李红莲,王春花,袁保宗;一种改进的支持向量机NN-SVM[J];计算机学报;2003年08期
7 雷蕾;沈富可;;基于连接特征的P2P流媒体应用的识别[J];计算机应用;2007年S2期
8 柳斌;李芝棠;黎耀;;基于访问控制列表的BitTorrent流量控制策略[J];计算机应用与软件;2006年05期
9 韩运宝;戚建勋;;P2P网络搜索技术的研究现状[J];科技信息(科学教研);2007年16期
10 周智昊;刘斌;李之棠;周丽娟;;一种改进的基于连接成功率的P2P识别方法[J];中国海洋大学学报(自然科学版);2008年S1期
中国博士学位论文全文数据库 前10条
1 王勇;实现高性能IP网络视频服务的若干关键技术研究[D];华东师范大学;2007年
2 周丽娟;P2P流媒体识别方法的研究[D];华中科技大学;2008年
3 柳斌;P2P流的测量与识别方法研究[D];华中科技大学;2008年
4 王向辉;P2P网络拓扑结构研究[D];哈尔滨工程大学;2008年
5 李静远;P2P系统结构与数据传输策略研究与实现[D];中国科学技术大学;2009年
6 马冠骏;基于网络编码的P2P文件分发的研究[D];中国科学技术大学;2009年
7 陆垂伟;结构化P2P网络的安全高效路由算法研究[D];华中科技大学;2009年
8 林怀清;P2P网络多维模糊信任模型研究[D];华中科技大学;2009年
9 刘孝男;移动P2P网络中基于方向搜索算法的研究[D];吉林大学;2010年
10 代战锋;基于IPv6的P2P网络访问控制模型的研究[D];北京邮电大学;2009年
中国硕士学位论文全文数据库 前10条
1 梁达明;P2P网络资源定位模型研究[D];浙江大学;2006年
2 杨宏;P2P网络中现存问题的研究与解决和P2P网络应用开发[D];北京邮电大学;2006年
3 成宇;NAT穿透技术的研究与基于SIP协议多媒体交流系统的实现[D];北京邮电大学;2006年
4 周达文;基于SIP的分布式VoIP防火墙/NAT穿越架构[D];华中科技大学;2006年
5 朱超;P2P网络系统搜索算法研究[D];哈尔滨工业大学;2007年
6 云亮;基于对等网的NAT穿透技术的研究和实现[D];华中科技大学;2007年
7 邢皖甲;Sipear:一种基于p2p架构的语音通信系统[D];复旦大学;2009年
8 陈惠红;SBC助SIP穿越NAT的研究与实现[D];中南大学;2009年
9 周磊戈;基于P2P流特征的流量识别技术研究[D];中南大学;2009年
10 陈兰;基于p2p网络结构的搜索技术的研究[D];江南大学;2009年
【二级参考文献】
中国期刊全文数据库 前10条
1 韦安明;王洪波;程时端;林宇;;高速网络中P2P流量检测及控制方法[J];北京邮电大学学报;2007年05期
2 陆庆;周世杰;秦志光;吴春江;;对等网络流量检测技术[J];电子科技大学学报;2007年06期
3 周明中;龚俭;丁伟;程光;;基于MGCBF算法的长流信息统计[J];东南大学学报(自然科学版);2006年03期
4 李江涛,姜永玲;P2P流量识别与管理技术[J];电信科学;2005年03期
5 周晋,李衍达;基于Small-World网络的非结构化DHT算法[J];计算机研究与发展;2005年01期
6 龚海刚;刘明;毛莺池;陆桑璐;谢立;;P2P流媒体关键技术的研究进展[J];计算机研究与发展;2005年12期
7 陈刚;张伟文;吴国新;;P2P流媒体Cache的置换算法[J];计算机研究与发展;2007年11期
8 刘亚杰;窦文华;;P2P流媒体:一种新型的流媒体服务体系[J];计算机科学;2004年04期
9 李君;王攀;孙雁飞;王浩云;;P2P业务流量识别、分析和控制研究[J];计算机工程;2006年11期
10 陈贵海,须成忠,沈海英,叶懋,刘之育;一种新的常数度数的P2P覆盖网络[J];计算机学报;2005年07期
【相似文献】
中国期刊全文数据库 前10条
1 张欣璐;刘广钟;;无结构对等网络资源搜索算法[J];上海海事大学学报;2008年02期
2 石伟兴;林浒;雷为民;;SIP PASTRY的设计与实现[J];小型微型计算机系统;2006年11期
3 李正宇;;通过节点状态识别P2P流量的算法研究[J];现代计算机(专业版);2010年09期
4 任小金;古志民;高志伟;段赵磊;;RR-Chord:一个基于Chord的低开销快速查询P2P系统[J];北京理工大学学报;2008年02期
5 陈宝英;;基于P2P的网络视频会议系统的设计方法[J];电脑知识与技术;2009年24期
6 林玲;;一个简单的P2P软件控制方法[J];计算机安全;2009年04期
7 满志强;;圆形截面的四边形元素网格剖分[J];电脑学习;2011年02期
8 乐浩洪;姜汉忠;;用P2P流媒体技术加强电视覆盖[J];广播电视信息;2006年09期
9 胡伟莉;黄华文;丁成忠;;普通高校网络继续教育管理信息化的研究[J];产业与科技论坛;2007年01期
10 赵志升;罗德林;杨志东;;P2P技术与流媒体发展新趋势[J];河北北方学院学报(自然科学版);2007年01期
中国重要会议论文全文数据库 前10条
1 杨艳春;孟祥武;;P2P网络服务环境中的节点相似性度量研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
2 张涵;张建标;张涛;;基于资源的集中式P2P网络节点测量研究[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
3 王波;周晓光;苏志远;;基于节点状态的P2P流量识别系统[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集(下册)[C];2008年
4 王波;周晓光;苏志远;;基于节点状态的P2P流量识别系统[A];2008通信理论与技术新发展——第十三届全国青年通信学术会议论文集(下)[C];2008年
5 张文科;张玉芳;;基于特征位的校园网内P2P流量限制[A];2008年计算机应用技术交流会论文集[C];2008年
6 袁野;王国仁;张莹;;P2P环境下度量空间中的相似查询处理[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
7 李钧;王新;;P2P存储网络中的冗余维持[A];第15届全国信息存储技术学术会议论文集[C];2008年
8 徐陈锋;奚宏生;江琦;殷保群;;一类分层非结构化P2P系统的随机优化[A];第二十六届中国控制会议论文集[C];2007年
9 唐晨;孙立峰;杨士强;;基于减小切换延迟的P2P流媒体服务器带宽分配研究[A];第六届和谐人机环境联合学术会议(HHME2010)、第19届全国多媒体学术会议(NCMT2010)、第6届全国人机交互学术会议(CHCI2010)、第5届全国普适计算学术会议(PCC2010)论文集[C];2010年
10 张建标;张涛;;一种基于流量行为的P2P协议识别方法[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
中国重要报纸全文数据库 前10条
1 记者 朱周;昆明P2P信贷探秘[N];昆明日报;2011年
2 本报记者 陈嘉颂;P2P:生存还是死亡[N];电脑报;2002年
3 熊雄;Unix系统下的文件恢复[N];网络世界;2001年
4 本报记者 李彦赤;国内P2P信贷热潮再探[N];中国城乡金融报;2011年
5 农总行农户金融部 黄迈;P2P小额信贷机制创新及面临问题[N];中国城乡金融报;2009年
6 本报记者 杨庆广;P2P破解移动互联网流量激增难题[N];中国电子报;2009年
7 马莉 撰稿;P2P突破传统网络模式新鲜出炉[N];国际经贸消息;2000年
8 本报记者 王丽娟;P2P信贷试水农村金融“蓝海”[N];中国经济时报;2009年
9 何晶;企业网络应重视P2P流量监控[N];人民邮电;2009年
10 主持人 王汉;P2P网络信贷:如何稳健成长[N];中国城乡金融报;2009年
中国博士学位论文全文数据库 前10条
1 刘峰;基于服务角色的P2P节点识别方法研究[D];华中科技大学;2010年
2 陈才;针对节点自私性的对等网络激励机制技术研究[D];北京邮电大学;2010年
3 钟海峰;层次p2p存储系统关键技术研究[D];华中科技大学;2011年
4 孙华志;网格环境中基于P2P的资源共享研究[D];北京科技大学;2008年
5 王仕果;无线P2P网络的资源定位机制与中继协作策略研究[D];北京邮电大学;2010年
6 冯景瑜;开放式P2P网络环境下的信任管理技术研究[D];西安电子科技大学;2011年
7 谭振华;结构化P2P覆盖网络路由算法及安全相关技术研究[D];东北大学;2009年
8 牛常勇;P2P信任机制和覆盖网络构建算法研究[D];上海交通大学;2008年
9 霍英;基于超节点体系结构的P2P覆盖网优化技术研究[D];中南大学;2011年
10 黄昆;高性能内容过滤与分发技术研究[D];湖南大学;2009年
中国硕士学位论文全文数据库 前10条
1 曾婷;基于资源群组的P2P信任模型中精英节点更新机制研究[D];西南大学;2010年
2 雷明;低带宽消耗P2P流媒体直播系统的研究与实现[D];电子科技大学;2010年
3 陈立龙;非结构化P2P网络节点负载均衡机制研究[D];华中师范大学;2011年
4 黎简;车载CAN节点的ICMPv6协议研究[D];吉林大学;2012年
5 张铁强;基于结构化的P2P搜索算法的研究[D];武汉理工大学;2010年
6 刘昊东;基于DHT的P2P路由算法研究[D];武汉理工大学;2010年
7 薛秀珍;结构化P2P网络的复杂查询机制研究[D];昆明理工大学;2010年
8 者明伟;P2P应用对网络的影响和识别方法研究[D];云南大学;2010年
9 汪磊;基于混合层次化P2P网络架构的信任模型的研究[D];西安电子科技大学;2010年
10 莫锡昌;P2P文件系统资源定位技术研究[D];哈尔滨工程大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026