收藏本站
《苏州大学》 2008年
收藏 | 手机打开
二维码
手机客户端打开本文

网络核心节点异常流量检测与控制技术研究

张伟  
【摘要】: 信息化的快速发展极大推动了社会的进步,信息网络成为现代社会的主要基础设施之一,网络的安全和高效运行直接关系到社会活动的正常运行。伴随着网络的发展,网络入侵、服务攻击、信息窃取、病毒传播等恶意行为在各种利益的驱动下变得越来越普遍,数量、种类和破坏程度不断增加,其中以DDoS为代表的资源消耗型攻击由于实现简单和难以防御而成为互联网安全的主要威胁,传统的入侵检测主要部署在用户端,保护用户不受攻击,并不能消除网络骨干节点中的恶意流量,现有核心节点一般不具备恶意流量的识别和控制能力,只能任由其传播,DDoS加上蠕虫传播和P2P流量消耗了核心节点的大部分资源,网络资源更新发展的速度跟不上资源的滥用和消耗,所以在核心节点上部署流量检测和控制机制对于保障网络性能有重要的意义,并且进一步可以作为攻击源定位的信息平台。 核心节点主要实现数据的路由和交换,增加新的流量检测和控制功能不能影响其基本工作,可以利用的计算资源和空间有限,而核心节点上的数据量巨大,对处理时间也有很高的要求,加上攻击手段的多样性,如何快速处理数据流并保证有效性和准确性是本文的研究目标,本文重点对其中的关键技术进行深入的研究,主要包括以下几个方面: 1.本文首先设计了一个应用于核心节点上针对异常流量检测和控制的系统框架,它由三个层次组成,底层考虑到数据的单次扫描和摘要储存使用了数据流模型,只负责检测数据流中的超大频度流,并不做深入的分析,可以实现在线的数据流处理;中间层使用模式识别中的聚类技术,解决检测技术对攻击先验知识的依赖,可以把恶意数据形成准确的聚集,这是一种准实时的处理,牺牲一定反应时间换取准确度;上层使用多层聚集控制策略,根据协议使用模式进行多层聚集,区分不同的聚集的恶意程度,从而决定资源的分配,并反馈控制效果。三个层次有机结合,可以及时发现并过滤恶意流量。 2.本文提出了一种基于窗口偏倚度的突变检测算法,针对具体的海量数据流进行超大频度流的检测,利用基于hash函数的计数器矩阵,并结合指数直方图设计了一个复式的数据摘要结构,这是一种滑动窗口模型,窗口内的数据随着每个数据的到达而变化,直方图内的每个桶各自计算自己的偏倚度来表明其中出现大频度流的程度,指数直方图中大小不同的等级桶设计体现了数据的时间衰减性,指数直方图的偏倚度可以及时、准确地反应数据流数据分布的突变。 3.在数据压缩存储上对传统的计数型Bloom Filters进行了两个方面的改进,使其更加适应针对大频度流量计数的场合,首先改进了计数型Bloom Filters的计数器,提出了逻辑计数器的概念,可以在计数器满溢时侵入其它的计数器增加对数值的存储上限,由于使用计数器最小值估计,带来的误判率增加很小。另外针对计数型Bloom Filters使用固定数目的hash函数,不能事先确定最佳函数数目的不足,提出根据空置的计数器来估计Bloom Filters的使用情况,确定最佳hash函数数目,从而减少计算量。 4.针对资源消耗型攻击变异种类繁多,基于特征匹配难以实现的特点,提出一种两阶段聚类算法,在可视化分析恶意攻击的基础上,利用同一攻击样本点相似度高,分布相似的基本特性,在第一阶段基于样本距离实现密度微聚集,在第二阶段基于微聚类的分布相似度实现密度连接,能够识别不规则形状、区分不同密度,实现对不同攻击样本的准确聚类。 5.在资源控制层面,提出了一种多层聚集的限速策略,首先按照不同的协议和各个协议的使用方式把数据流划分成不同层次的多个聚集,根据各个聚集的恶意程度决定其对资源的占用情况,对恶意聚集进行限速,具体实现上利用中间层两阶段聚类的结果来生成过滤规则,使其具有更好的准确度,协议的划分保证了不同协议之间的相互隔离,同时也考虑了限速控制的效果反馈。
【学位授予单位】:苏州大学
【学位级别】:博士
【学位授予年份】:2008
【分类号】:TP393.08

手机知网App
【引证文献】
中国硕士学位论文全文数据库 前3条
1 庄芳仪;基于信息熵的异常流量分布式检测方法的研究[D];大连海事大学;2011年
2 李盼盼;基于Bloom Filter的SYN Flood检测方法的研究[D];大连海事大学;2010年
3 田春山;面向关键节点的复杂网络防御与保护策略研究[D];南京理工大学;2013年
【参考文献】
中国期刊全文数据库 前7条
1 孙玉芬;卢炎生;;流数据挖掘综述[J];计算机科学;2007年01期
2 陈伟;何炎祥;彭文灵;;一种轻量级的拒绝服务攻击检测方法[J];计算机学报;2006年08期
3 金澈清,钱卫宁,周傲英;流数据分析与管理综述[J];软件学报;2004年08期
4 孙知信;唐益慰;程媛;;基于改进CUSUM算法的路由器异常流量检测[J];软件学报;2005年12期
5 龚俭;彭艳兵;杨望;刘卫江;;基于BloomFilter的大规模异常TCP连接参数再现方法[J];软件学报;2006年03期
6 秦首科;钱卫宁;周傲英;;基于分形技术的数据流突变检测算法[J];软件学报;2006年09期
7 濮晓龙;关于累积和(CUSUM)检验的改进[J];应用数学学报;2003年02期
【共引文献】
中国期刊全文数据库 前10条
1 高明霞;姚文集;毛国君;;XML数据流中面向聚类的指数直方图[J];北京工业大学学报;2011年08期
2 张品;蒲菊华;刘永利;熊璋;;适用于连续数值标签的兴趣漂移增量学习方法[J];北京航空航天大学学报;2009年09期
3 冯文峰;郭巧;吴素妍;;基于多层概要结构的数据流的频繁项集发现算法[J];北京理工大学学报;2006年06期
4 肖敏;柴蓉;杨富平;范士喜;;基于可拓集的入侵检测模型[J];重庆邮电大学学报(自然科学版);2010年03期
5 王柯柯;崔贯勋;倪伟;苟光磊;;基于单元的快速的大数据集离群数据挖掘算法[J];重庆邮电大学学报(自然科学版);2010年05期
6 严有日;;基于DDOS攻击机理的分析与防范[J];赤峰学院学报(自然科学版);2009年12期
7 王元明;熊伟;;异常数据的检测方法[J];重庆工学院学报(自然科学版);2009年02期
8 王立锟;王君;;流数据聚类中多属性的计算[J];重庆工学院学报(自然科学版);2009年06期
9 王越;刘亚辉;徐传运;;基于距离和的孤立点用户意义分析算法及应用[J];重庆理工大学学报(自然科学版);2010年01期
10 黄孝;;数据流聚类算法分析[J];池州学院学报;2007年05期
中国重要会议论文全文数据库 前10条
1 陈显周;俞守华;区晶莹;;异常挖掘在猪只行为数据分析上的应用[A];2011年中国农业系统工程学术年会论文集;海峡两岸农业学术研讨会论文集;长沙市第五届自然科学学术年会农学研讨会论文集[C];2011年
2 廖鹏;;基于异常特征的DDoS检测模型[A];经济发展方式转变与自主创新——第十二届中国科学技术协会年会(第四卷)[C];2010年
3 陈志坤;杨树强;李爱平;郑黎明;;数据流与数据库之间混合连接查询算法的研究[A];2009年研究生学术交流会通信与信息技术论文集[C];2009年
4 江杨;;流数据存储系统体系结构研究[A];2007中国科协年会——通信与信息发展高层论坛论文集[C];2007年
5 韩矞;贾焰;甘亮;;一种基于网络安全数据流的混合CUBE模型[A];全国计算机安全学术交流会论文集(第二十四卷)[C];2009年
6 王亦兵;杨树强;王晓伟;;一个面向数据流的多维分析系统的研究与实现[A];全国计算机安全学术交流会论文集(第二十四卷)[C];2009年
7 刘东;韩伟红;郑黎明;;基于数据流管理系统的网络安全事件多维分析[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
8 房伟;逄玉俊;路爽;;基于相异度系数和的孤立点挖掘应用与研究[A];2006“数学技术应用科学”[C];2006年
9 杜阿宁;方滨兴;;面向网络报文流分析的频繁项监测技术研究[A];全国网络与信息安全技术研讨会'2005论文集(上册)[C];2005年
10 叶润国;胡建平;;基于主机活跃性和通信模式分析的实时异常流量检测[A];全国网络与信息安全技术研讨会论文集(上册)[C];2007年
中国博士学位论文全文数据库 前10条
1 李桃迎;交通领域中的聚类分析方法研究[D];大连海事大学;2010年
2 何建民;面向网络社区聆听客户声音方法研究[D];合肥工业大学;2010年
3 吴海;移动实时数据库中的数据广播策略研究[D];华中科技大学;2010年
4 曹涌;基于分形的软件可靠性模型和程序证明的数学机械化[D];电子科技大学;2010年
5 邵纪东;非线性过程监测中的数据降维及相关问题研究[D];浙江大学;2010年
6 苏晓珂;基于聚类的异常挖掘算法研究[D];东华大学;2010年
7 程文聪;面向大规模网络安全态势分析的时序数据挖掘关键技术研究[D];国防科学技术大学;2010年
8 叶红云;面向金融营销问题的个性化推荐方法研究[D];合肥工业大学;2011年
9 刘玉国;基于内容的互联网舆情信息挖掘关键技术研究[D];山东大学;2011年
10 高明;不确定数据的世系管理和相似性查询[D];复旦大学;2011年
中国硕士学位论文全文数据库 前10条
1 张书春;数据挖掘技术在SMS系统中的应用研究[D];郑州大学;2010年
2 周驰;数据流上概念漂移的检测和分类[D];郑州大学;2010年
3 丁金凤;基于网格与密度的数据流聚类算法研究[D];哈尔滨工程大学;2010年
4 何莹杰;个性化图书信息服务技术研究[D];哈尔滨工程大学;2010年
5 于洋;一种改进的COBWEB算法研究[D];哈尔滨工程大学;2010年
6 曹振兴;适应概念漂移的数据流分类算法研究[D];哈尔滨工程大学;2010年
7 骆永健;基于聚类的数据流异常检测算法的研究[D];哈尔滨工程大学;2010年
8 韩君;近期数据流频繁项集挖掘[D];大连理工大学;2010年
9 卢晓伟;基于GPU的数据流处理方法研究[D];大连理工大学;2010年
10 刘畅;基于概要的数据流管理系统的研究与实现[D];大连理工大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 夏士雄;李文超;周勇;张磊;牛强;;一种改进的k-means聚类算法(英文)[J];Journal of Southeast University(English Edition);2007年03期
2 邹文锋;王宏;;基于OD流的网络流量分析系统的设计与实现[J];电脑应用技术;2009年01期
3 匡晓红;汤丹;;Syn Flood攻击实例及安全防范[J];电脑知识与技术;2008年09期
4 郭健;;DDoS攻击原理及其检测方法探究[J];电脑知识与技术;2009年12期
5 石楠;;僵尸网络中的变种SYN Flood攻击检测模型[J];电脑知识与技术;2009年27期
6 李勇;吕欣;谭跃进;;基于级联失效的战域保障网络节点容量优化[J];复杂系统与复杂性科学;2009年01期
7 李鹏翔,任玉晴,席酉民;网络节点(集)重要性的一种度量指标[J];系统工程;2004年04期
8 郭磊;汪斌强;陈庶樵;;一种面向关键节点的多路径路由算法[J];计算机工程与应用;2008年26期
9 肖明忠;代亚非;;Bloom Filter及其应用综述[J];计算机科学;2004年04期
10 杨岳湘;王海龙;卢锡城;;基于信息熵的大规模网络流量异常分类[J];计算机工程与科学;2007年02期
中国博士学位论文全文数据库 前3条
1 池丽平;遭袭复杂网络的修复策略与关联特征研究[D];华中师范大学;2006年
2 邹柏贤;网络流量异常检测与预测方法研究[D];中国科学院研究生院(计算技术研究所);2003年
3 李宗林;骨干通信网中的分布式隐蔽流量异常检测方法研究[D];电子科技大学;2010年
中国硕士学位论文全文数据库 前10条
1 张鹏;基于主成分分析的综合评价研究[D];南京理工大学;2004年
2 张鹏;基于时频分析的网络流量异常检测研究[D];电子科技大学;2006年
3 王学毅;防御TCP DDoS攻击的算法研究及其在LINUX中的实现[D];大连海事大学;2007年
4 王海龙;大规模网络流量异常分析[D];国防科学技术大学;2006年
5 张瑞;网络异常流量检测模型设计与实现[D];北京邮电大学;2008年
6 王国梁;基于Linux网关的DDoS防护系统的设计与实现[D];南京理工大学;2008年
7 马文明;基于主成分分析法和熵值法的我国指数基金综合评价[D];中南大学;2007年
8 李锋;大流量网络异常检测技术的研究与设计[D];山东大学;2008年
9 迟振华;针对SYN Flood型DDoS攻击的改进检测算法研究[D];大连海事大学;2008年
10 辛茗庭;基于linux平台的流量统计与异常检测系统的设计与实现[D];上海交通大学;2008年
【二级参考文献】
中国期刊全文数据库 前5条
1 朱文涛,李津生,洪佩琳;基于路由器代理的分布式湮没检测系统[J];计算机学报;2003年11期
2 李德全,苏璞睿,冯登国;用于IP追踪的包标记的注记(英文)[J];软件学报;2004年02期
3 金澈清,钱卫宁,周傲英;流数据分析与管理综述[J];软件学报;2004年08期
4 李建中,郭龙江,张冬冬,王伟平;数据流上的预测聚集查询处理算法[J];软件学报;2005年07期
5 濮晓龙;关于累积和(CUSUM)检验的改进[J];应用数学学报;2003年02期
【相似文献】
中国期刊全文数据库 前10条
1 吴小叶;肖继民;;基于信息熵的网络异常流量的研究[J];广东通信技术;2008年04期
2 邹涛;;基于P2P的Internet蠕虫预警系统研究[J];电脑知识与技术;2007年24期
3 高鹏;;分布式蠕虫流量检测技术[J];信息安全与通信保密;2009年12期
4 唐林;唐治德;马超;;神经网络和IP标记在DDoS攻击防御中的应用[J];计算机仿真;2008年02期
5 高鹏;;自适应网络蠕虫流量检测技术研究[J];信息网络安全;2009年12期
6 甄静;;校园网异常流量状况分析及带宽分配的应用研究[J];辽宁师专学报(自然科学版);2010年01期
7 贾慧;高仲合;;异常流量的分析与研究[J];计算机安全;2010年07期
8 孙知信;唐益慰;程媛;;基于改进CUSUM算法的路由器异常流量检测[J];软件学报;2005年12期
9 宋安利;唐成;武维善;;一种基于异常流量的蠕虫入侵检测[J];网络安全技术与应用;2006年04期
10 陈旭卿;;基于业务感知的证券业务监测和流量分析系统设计与实现[J];电信快报;2008年10期
中国重要会议论文全文数据库 前2条
1 叶润国;胡建平;;基于主机活跃性和通信模式分析的实时异常流量检测[A];全国网络与信息安全技术研讨会论文集(上册)[C];2007年
2 宋波;;网络信息安全建设向纵深挺进试析[A];四川省通信学会2007年学术年会论文集[C];2007年
中国博士学位论文全文数据库 前1条
1 张伟;网络核心节点异常流量检测与控制技术研究[D];苏州大学;2008年
中国硕士学位论文全文数据库 前10条
1 闫心丽;基于异常模式的入侵检测系统研究[D];天津大学;2006年
2 许兴;基于用户数据流的分布式网络安全审计系统的研究[D];北京林业大学;2008年
3 马嫄;基于异常流量的蠕虫检测系统研究与实现[D];华中科技大学;2007年
4 蔡新;未知网络蠕虫检测与特征码自动生成的研究[D];华中科技大学;2007年
5 李小爽;IP网流量流向分析及异常流量监控的研究[D];北京邮电大学;2008年
6 任亚宁;基于网格的网络流量分析及性能监控系统的设计与实现[D];北京邮电大学;2009年
7 李伟;IT网管系统中流量管理子系统的设计与实现[D];北京邮电大学;2009年
8 李海鲲;国际网管综合监测平台系统的分析与设计[D];北京邮电大学;2008年
9 刘鹏;高速链路流量可视化系统的研究与开发[D];山东大学;2006年
10 牛丽君;网络流量采集与分析系统的设计与实现[D];大连交通大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026