收藏本站
《北京邮电大学》 2007年
收藏 | 手机打开
二维码
手机客户端打开本文

互联网中基于流测量的P2P流量及异常事件检测

韦安明  
【摘要】: 近年来,随着互联网的发展,网络测量已经成为网络研究和管理的基础,而网络流量测量则是网络测量的一个重要方面。由于网络传输日益高速化、网络业务推陈出新,目前的网络流量测量系统存在无法满足高速化测量、无法检测新生网络业务等不足,不能满足当前及未来测量需求。本文重点研究流量抽样、P2P流量检测与控制、P2P超级节点推测及异常网络事件检测技术,以提高流量测量系统的性能。本文主要研究工作及内容如下: (1)流抽样大量应用于网络测量系统中,用于减轻测量系统的负担。流抽样测量过程中,降低大流损失率有益于提高样本信息量,使测量结果更加精确。本文在分析现存hardflow算法不足的基础上,提出改进的流抽样算法aflow1、aflow2,降低了大流抽样损失率。采用互联网数据进行的大量实验结果表明,在抽样缓冲区大小不变的前提下,改进算法的大流损失率更低。 (2)对对等网络(Peer-to-Peer,简称P2P)的流量进行检测与控制是减缓当前互联网拥塞状况的重要手段。高速网络环境下,实时进行P2P流量检测与速率控制对测量系统是一个挑战。本文提出采用P2P特征码匹配、P2P分组随机丢弃机制相结合的方法达到P2P流量检测与控制的目的,其中,基于三态内容可寻址存储器(Ternary Content Addressable Memory,简称TCAM)的特征码匹配算法实现使测量系统能对2Gbps以上的链路进行P2P流量实时检测,而基于TCP速率预测公式,通过调整P2P分组的丢弃概率,则可以实现P2P流量速率控制。仿真实验的结果表明,该方法可以根据设定的P2P分组丢弃概率,有效地控制网络中P2P流量的大小,同时改善了非P2P业务的服务质量。 (3)连接特征分析方法可以检测未知或加密传输的P2P流量,但是过去基于连接特征分析的P2P流量检测方法都必须多次扫描网络数据,无法满足在线实时检测要求。本文提出的IPS(Inferring P2P's super nodes with packet Sampling,简称IPS)方法解决了这个难题。IPS致力于检测P2P超级节点(超级节点,也称SuperNode,本文特指与超过给定P2P节点数量相连的P2P节点),它首先引入自适应随机分组抽样机制以满足高速网络的实时检测要求,其次通过分析分组样本以获取P2P种子节点(种子节点,也称Seed Node,本文特指从分组样本中检测出的P2P节点),然后以种子节点为起点,根据P2P节点间具有的流量关联特性对未抽样分组进行检测,从而发现其他的P2P节点,另外,从保护测量系统有限资源出发,通过节点替换保证超级节点检测过程中P2P列表的内存消耗。采用互联网数据进行的实验结果表明,IPS可以有效检出P2P超级节点。 (4)网络中经常出现闪聚事件(Flash Crowd Events,简称FCE)和仿闪聚事件的拒绝服务攻击(Distributed denial of service attack that Mimic FCE,简称DMF),致使网络流量出现异常增大,并降低了Web服务性能。本文根据不同异常流量的源地址分布存在聚类特性差异的特点,提出用信息熵方法检测网络异常事件类型。采用互联网Web站点访问记录及其仿真数据进行的实验结果表明,该方法可以正确检测出FCE及DMF异常。
【学位授予单位】:北京邮电大学
【学位级别】:博士
【学位授予年份】:2007
【分类号】:TP393.06

手机知网App
【引证文献】
中国博士学位论文全文数据库 前2条
1 左震;光纤骨干网实时流测量关键技术研究[D];国防科学技术大学;2012年
2 蒋红艳;基于流量监控的网络性能优化关键技术研究[D];湖南大学;2010年
中国硕士学位论文全文数据库 前3条
1 张治鹏;铁路数据网网络资源管理中的网络流量趋势研究[D];北京交通大学;2017年
2 张帅;基于数据挖掘的异常流量分析与检测[D];北京邮电大学;2016年
3 朱娜;基于P2P教学互动行为模型的研究与应用[D];哈尔滨工程大学;2013年
【参考文献】
中国期刊全文数据库 前6条
1 王洪波;韦安明;林宇;程时端;;流测量中基于测量缓冲区的时间分层分组抽样[J];软件学报;2006年08期
2 张云飞,雷连虹,陈常嘉;Internet中Peer-to-Peer应用流量测量与分析[J];铁道学报;2004年05期
3 王俊峰,杨建华,周虹霞,谢高岗,周明天;网络测量中自适应数据采集方法(英文)[J];软件学报;2004年08期
4 杨新宇,魏恒义,程竹林;一种新的基于事件触发的网络流量采样测量方法及其应用研究[J];电子与信息学报;2004年07期
5 程光,龚俭,丁伟;基于抽样测量的高速网络实时异常检测模型[J];软件学报;2003年03期
6 程光,龚俭,丁伟;基于分组标识的网络流量抽样测量模型[J];电子学报;2002年S1期
【共引文献】
中国期刊全文数据库 前10条
1 杨海亮;李震;马天丁;胡毅;;一种DDoS攻击复合式检测方法的研究[J];计算机技术与发展;2015年07期
2 任高明;夏靖波;乔向东;杨仝;;一种用于小流估计的数据包公平抽样算法[J];电子科技大学学报;2014年04期
3 孟金凤;高仲合;禹继国;;基于两层自适应超时策略的资源可控流抽样[J];济南大学学报(自然科学版);2014年05期
4 易金桥;孙先波;谭建军;艾青;;基于SPCE061 A的舞台灯智能控制系统设计[J];湖北民族学院学报(自然科学版);2013年04期
5 杨祎;周亚建;;一种基于小波变换和PSR-LSSVM的P2P网络流量预测模型[J];中国新通信;2013年19期
6 孙昱;夏靖波;赵小欢;申健;;基于流量负载的改进型几何抽样算法[J];电视技术;2013年17期
7 崔艳娜;;一种网络流量异常检测模型[J];计算机与现代化;2013年08期
8 周爱平;程光;郭晓军;;高速网络流量测量方法[J];软件学报;2014年01期
9 高维国;;流量抽样关键技术研究[J];软件;2012年12期
10 胡艳梅;;医学院校校园网络性能监测技术研究[J];电脑编程技巧与维护;2011年24期
【同被引文献】
中国博士学位论文全文数据库 前10条
1 袁小坊;IP网络测量数据存储与流量建模研究[D];湖南大学;2010年
2 王蛟;基于行为的P2P流量及异常流量检测技术研究[D];北京邮电大学;2008年
3 韦安明;互联网中基于流测量的P2P流量及异常事件检测[D];北京邮电大学;2007年
4 杨洁;基于流量测量的网络QoS改善若干关键问题研究[D];北京邮电大学;2007年
5 周明中;大规模网络IP流行为特性及其测量算法研究[D];东南大学;2006年
6 王洪波;互联网测量系统可扩展性问题及其关键算法研究[D];北京邮电大学;2006年
7 蔡志平;基于主动和被动测量的网络测量技术、模型和算法研究[D];国防科学技术大学;2005年
8 尚凤军;基于边缘测量的高速网络链路流量测量系统研究[D];重庆大学;2005年
9 刘岩;网络流量控制若干关键技术研究[D];复旦大学;2005年
10 王俊峰;高速互联网性能测量若干关键技术研究[D];电子科技大学;2004年
中国硕士学位论文全文数据库 前10条
1 李殿钢;基于光传输网(OTN)的川渝铁路传输网的优化设计[D];电子科技大学;2015年
2 史明虎;基于FARIMA模型的自相似业务流量预测[D];西安电子科技大学;2013年
3 杨国衡;基于NETSTREAM的流量统计系统研究[D];华中科技大学;2013年
4 张倩倩;面向配电网的电力通信流量分析和预测技术[D];天津大学;2012年
5 严晋如;基于关键元素的流量矩阵分析研究[D];华中科技大学;2012年
6 郑焕时;基于NetFlow的互联网流量分析系统的设计与实现[D];哈尔滨工业大学;2011年
7 陈鹏;数据流关联规则挖掘研究及其应用[D];浙江大学;2011年
8 孟欣;校园网络管理流量分析技术研究与实现[D];中国海洋大学;2010年
9 罗彦婷;基于T-MPLS的自相似特性的网络流量模型的分析与研究[D];北京邮电大学;2010年
10 梁晨;基于DNMAI架构的分布式网络测量系统研究与应用[D];电子科技大学;2009年
【二级引证文献】
中国博士学位论文全文数据库 前2条
1 刘德胜;高速网络内容分析识别系统关键技术研究[D];国防科学技术大学;2016年
2 李洋;基于QoS保证的2D-mesh片上网络延时评价与性能优化研究[D];吉林大学;2015年
【二级参考文献】
中国期刊全文数据库 前3条
1 王俊峰,杨建华,周虹霞,谢高岗,周明天;网络测量中自适应数据采集方法(英文)[J];软件学报;2004年08期
2 王俊峰,杨建华,周虹霞,谢高岗,周明天;单向延迟测量中时钟动态性检测算法(英文)[J];软件学报;2004年04期
3 程光,龚俭,丁伟;基于分组标识的网络流量抽样测量模型[J];电子学报;2002年S1期
【相似文献】
中国期刊全文数据库 前10条
1 谭义红;林亚平;欧阳竟成;李彬;;超级节点网络中的并行查询和排序机制[J];计算机工程;2010年02期
2 石田宏树;;人生的“超级节点”[J];中国企业家;2009年15期
3 谭义红;罗立;林亚平;欧阳竟成;;超级节点网络的构建与搜索机制研究[J];小型微型计算机系统;2008年11期
4 奥卡姆剃刀;;小世界与“超级村长”[J];南方人物周刊;2010年09期
5 孙名松;段志鸣;王湛昱;;混合式P2P网络UDP下NAT穿越方案的研究与设计[J];计算机与数字工程;2010年04期
6 柴勇;刘一松;曹阳;;基于分层p2p系统的失效恢复机制的改进[J];微计算机信息;2006年30期
7 张宇翔;张宏科;;一种层次结构化P2P网络中的负载均衡方法[J];计算机学报;2010年09期
8 吴仲华;王贵竹;;基于Pastry改进的P2P模型[J];通信技术;2010年03期
9 隋晋光;鲁士文;;P2P SIP技术的研究[J];电子技术应用;2007年06期
10 韦安明;王洪波;程时端;;基于分组抽样的P2P超级节点推测[J];电子与信息学报;2009年06期
中国重要会议论文全文数据库 前8条
1 王全民;王靓;;SkypeNet中超级节点拓扑的研究[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集(下册)[C];2007年
2 秦蓁;陶智勇;;几种分层的P2P网络模型的分析比较[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年
3 姚修思;马少武;唐雄燕;;基于异构性的P2P系统设计[A];中国通信学会信息通信网络技术委员会2009年年会论文集(上册)[C];2009年
4 汤天亮;张晓龙;陈珂;陈刚;;一种高效的P2P环境中的窗口查询算法[A];第26届中国数据库学术会议论文集(B辑)[C];2009年
5 宋晓茜;王向东;郭卓;;高层体系结构下一种改进的数据分发管理算法的研究[A];2007中国控制与决策学术年会论文集[C];2007年
6 葛佳;付晓东;高天宇;陈彬彬;范洪博;;对等网络的节点失效处理研究综述[A];第26届中国控制与决策会议论文集[C];2014年
7 高伟;李艳梅;陈维花;;基于P2P的文件同步更新的研究与实现[A];黑龙江省计算机学会2007年学术交流年会论文集[C];2007年
8 霍英;陈志刚;;结合地理位置与语义聚类的P2P叠加网构建[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年
中国重要报纸全文数据库 前6条
1 信息产业部通信标准研究所 薛宁;从Skype反思VoIP[N];计算机世界;2006年
2 ;Skype令电信业痴狂[N];网络世界;2005年
3 见习记者 汪建君;EOS价格缩水60%,超级节点竞选沦为“超级营销炒作”?[N];国际金融报;2018年
4 赵峰;网络架构变了[N];中国计算机报;2003年
5 顾荣强;可管理的P2P牵手IPTV[N];计算机世界;2006年
6 田辉;P2P协议的变迁[N];计算机世界;2006年
中国博士学位论文全文数据库 前10条
1 韦安明;互联网中基于流测量的P2P流量及异常事件检测[D];北京邮电大学;2007年
2 谭春光;基于IMS和P4P的IPTV系统关键技术研究[D];东北大学;2015年
3 张晓奇;服务开放共享与质量监测若干关键技术研究[D];北京邮电大学;2012年
4 徐陈锋;面向P2P的Markov模型[D];中国科学技术大学;2008年
5 张涵;一种安全的半分布式P2P系统体系结构及关键技术研究[D];北京工业大学;2013年
6 周明强;语义社区中服务注册中心部署策略研究[D];重庆大学;2010年
7 屈海涛;异构网络环境中的MP2P若干关键技术研究[D];北京邮电大学;2010年
8 高路;混合式P2P系统资源搜索优化方法研究[D];武汉大学;2010年
9 张宇翔;对等网络中Churn问题分析与研究[D];北京交通大学;2010年
10 徐婕;基于对等网络的资源搜索策略的研究[D];华中科技大学;2007年
中国硕士学位论文全文数据库 前10条
1 刘志丹;基于冗余的半分布式P2P网络改进策略[D];河南大学;2009年
2 丁学永;基于信任的超级节点选取和搜索策略[D];燕山大学;2010年
3 秦鹏程;基于P2PSIP技术的VoIP系统的研究与实现[D];华中科技大学;2009年
4 潘伟国;基于分层结构的DHT资源定位模型研究[D];兰州大学;2008年
5 李镭;基于Kademlia的P2P分层资源定位模型[D];电子科技大学;2006年
6 张星;HP2P网络群分裂与合并策略研究、仿真与实现[D];西安电子科技大学;2010年
7 段志鸣;基于混合式P2P网络UDP下NAT穿越方案的研究与设计[D];哈尔滨理工大学;2010年
8 李光勇;混合P2P网络的搜索技术研究[D];重庆大学;2007年
9 刘溪;对等网络下信息检索和动态副本策略的研究与实现[D];华中科技大学;2012年
10 刘丹;SIPGrid网络模型中超级节点服务器的设计与实现[D];中国科学院研究生院(沈阳计算技术研究所);2008年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026