收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

大规模通信网络流量异常检测与优化关键技术研究

郑黎明  
【摘要】:随着网络通信技术的迅速发展、互联网应用的持续深化、所承载信息的日益丰富,互联网已经成为人类社会重要的基础设施。但网络中配置错误、DDoS攻击、蠕虫爆发、突发访问等事件时有发生,互联网面临着严峻的安全挑战。异常检测因为能检测未知攻击而被学术界和工业界人士所重视,研究者提出了大量异常检测方法和系统,但是随着网络带宽的持续增长和网络攻防博弈的持续进行,网络本身处于动态演化的过程,网络攻击手段和方法也在不断演化,导致异常检测系统在检测精度、运行效率、安全性和易用性方面都面临着严峻挑战。如异常检测系统泛化能力差和网络流量的动态性、突发性和漂移性导致检测精度较差;基于特征签名的入侵检测系统不能适应网络带宽的高速增长;各类异常检测系统容易被攻击者绕过;异常检测系统训练数据难于获取等。因此在大规模通信网络环境下,综合考虑多方面要素,提出具有高检测精度和高运行效率的异常检测方法,并优化已有检测算法具有十分重要的意义,也是全球网络安全领域学术界和工业界共同关注的前沿性科学问题。 本文首先分析了已有各类流量异常检测方法,重点分析了异常检测系统在检测精度、运行效率、安全性和易用性方面的不足,针对这些不足,结合了聚类、关联分析、数据流、信息论、在线学习等技术,从不同应用场景出发提出了两种异常检测方法,并针对已有异常检测系统提出了一系列优化策略,所取得的主要研究成果如下: 1、提出了一种基于多维熵序列分类的骨干网上异常检测方法。在已有的研究中基于熵的检测方法因具有较高的检测精度而被研究者广泛采用,但是熵值的计算算法时间和空间复杂度较高,熵序列各时间点之间以及多维熵序列之间的相关性被研究者所忽视。研究发现,网络攻击在某些维度上通常聚集在固定的特征值上,在另外一些维度上则在取值空间上均匀散布,而且网络流量本身在各个维度上呈现Power-Law分布特性,很容易把网络流区分为大流量和小流量,基于上述分析提出了高效的多维熵值估算算法。各个维度上的熵序列存在较强的相关性,为了提高检测精度采用OCSVM对多维熵序列进行分类,同时利用不同时刻的多维熵序列构成的检测向量之间的连续变化趋势优化检测精度。在真实的骨干网流量数据集上,从运行效率和检测精度两方面进行实验,验证了所提方法相比传统的熵检测方法运行效率更高,检测效果更好。 2、提出了一种基于Filter-ary-Sketch的流量异常检测与过滤方法。通常的异常检测系统只能在异常发生时发去告警,但是网络管理者在没有详细异常信息的情况下无法对异常告警做出反应,不能迅速采取有效的方法抑制该异常带来的影响。同时,基于特征分布的检测方法虽然具有较高的检测精度,但是其存在安全缺陷,网络攻击者可以构建特殊的攻击绕过该类检测系统。研究发现,可以把网络流量看作数据流,在该流量数据流上构建Hash概要数据结构,获取流量在各个维度上的Hash直方图,在Hash直方图上采用OCSVM进行分类来检测异常。该方法既能规避基于熵的检测方法存在的安全缺陷,又能有效提高检测精度,最关键的是它能够在异常发生后,按照Hash直方图中保存的流量概要信息,采用相对熵定位导致分布差异的异常桶,在此基础上提出了恶意数据包过滤算法。通过骨干网上真实流量数据从运行效率、检测精度和过滤算法三个方面进行了对比实验,验证了所提算法在时间和空间复杂度上虽然比传统算法高,但是只要合理控制参数依然能够达到满意的效率;在检测精度上同样能够达到基于熵的方法类似的精度;特别是所提方法能够高效地过滤恶意数据包。 3、提出了一种基于检测统计量相关性分析的检测精度优化方法。已有多种异常检测方法,不同的检测方法采用了不同的特征统计量,特征统计量不同时刻的取值之间、同一时刻不同特征统计量之间都存在相关性。本文首先分析了同一统计量时间上的相关性,正常情况下可以把特征统计量看作随机过程,采用支持向量回归模型对该统计量进行预测,而且异常发生时该随机过程在连续多个时间窗口都会出现类似的偏差。随后分析了不同统计量之间存在的相关性,无论是在正常情况下还是在异常发生时各统计量都或多或少呈现出相关性,且各个检测统计量对异常的检测能力存在较大差异。在上述分析的基础上,提出了多窗口关联检测算法,利用时间上的相关性提高单个检测系统的精度;提出了多测度关联检测算法,利用各统计量之间的相关性提高整个系统的检测精度。通过骨干网上真实流量数据,选取了几类典型的检测方法,验证了所提方法能够有效提高整个系统的检测精度。 4、提出了流量异常检测中分类器的提取与训练方法。基于分类或聚类的方法是流量异常检测中很重要的一类方法,但是网络流量本身具有漂移特性,网络攻击手段和方法也在不断演化,异常检测模型也需要不断更新,这样才能一直精确的刻画网络的正常模式。但是流量异常检测中分类器的提取与训练方法却往往被研究者所忽视。本文综合考虑多个不同评价标准,对比分析了分类向量的构建和分类器的选择问题,提出了采用Hash直方图构建分类向量,采用OCSVM作为分类器能够达到较好的运行效率、较高的检测精度并能够规避其他方法存在的安全缺陷。随后提出了自适应的在线分类器训练方法,为了进一步提高检测精度和运行效率,借鉴上一章中的结论,提出了基于TRW的检测精度优化和新增样本选择算法。在真实的骨干网流量数据集上,从整个系统检测精度和训练算法两方面进行了对比实验,验证了所提算法能够有效提高整个系统的检测精度,通过在线训练算法后的分类器比普通分类器分类效率更好,训练成本更低。 综上所述,本文研究工作针对大规模通信网络流量异常检测中存在的检测精度、运行效率、安全性和易用性方面存在的问题,围绕异常检测及其优化问题涉及的若干个关键技术展开研究。本文对于促进该问题的理论研究和实用化具有一定的理论和应用价值。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 杨雅辉;杜克明;;全网异常流量簇的检测与确定机制[J];计算机研究与发展;2009年11期
2 王海龙;杨岳湘;;基于信息熵的大规模网络流量异常检测[J];计算机工程;2007年18期
3 魏桂英;姜亚星;;基于流数据挖掘的网络流量异常检测及分析研究[J];中国管理信息化;2009年15期
4 蒋文贤;;基于随机分形与马尔可夫模型的网络流量异常检测方法[J];通信技术;2008年10期
5 夏正敏;陆松年;李建华;马进;;基于自相似的异常流量自适应检测方法[J];计算机工程;2010年05期
6 梁昇;肖宗水;许艳美;;基于统计的网络流量异常检测模型[J];计算机工程;2005年24期
7 胡海龙;杭德全;;基于残噪预测的网络流量异常检测算法[J];计算机安全;2009年04期
8 何月梅;杜海艳;王保民;;分形技术与矢量量化相结合的网络流量异常检测研究[J];邯郸学院学报;2009年03期
9 王欣,方滨兴;Hurst参数变化在网络流量异常检测中的应用[J];哈尔滨工业大学学报;2005年08期
10 颜若愚;郑庆华;牛国林;;自适应滤波实时网络流量异常检测方法[J];西安交通大学学报;2009年12期
11 李杰君;郭芳;;基于网络流量分析的入侵检测技术的研究[J];电脑知识与技术(学术交流);2007年05期
12 王风宇;云晓春;曹震中;;多时间尺度同步的网络异常检测方法[J];通信学报;2007年12期
13 李宗林;胡光岷;周汝强;;基于层叠模型的网络流量异常检测方法[J];计算机应用研究;2008年09期
14 裴冠军;李峰;周荷琴;;采用CP-GMM模型的实时人群异常检测[J];电子技术;2011年07期
15 胡廉民;;流量异常检测研究与最新进展[J];通信技术;2008年05期
16 唐忠;曹俊月;;基于粗糙集属性约简的SVM异常入侵检测方法[J];通信技术;2009年02期
17 王明华;;一种互联网宏观流量异常检测方法[J];中兴通讯技术;2007年05期
18 吕军;李星;;一种网络流量异常检测算法[J];计算机应用研究;2006年11期
19 王海龙;杨岳湘;李强;;基于子空间方法的大规模网络流量异常检测[J];计算机工程与应用;2007年11期
20 邹柏贤;一种网络异常实时检测方法[J];计算机学报;2003年08期
中国重要会议论文全文数据库 前10条
1 邝祝芳;阳国贵;李清;;基于隐Markov模型的数据库异常检测技术[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
2 蒲晓丰;雷武虎;黄涛;王迪;;基于稳健背景子空间的高光谱图像异常检测[A];中国光学学会2010年光学大会论文集[C];2010年
3 刘辉;蔡利栋;;Linux进程行为的模式提取与异常检测[A];信号与信息处理技术——第一届信号与信息处理联合学术会议论文集[C];2002年
4 谭莹;王丹;;基于流量的网络行为分析模型的设计与实现[A];2010年全国通信安全学术会议论文集[C];2010年
5 乔立岩;彭喜元;彭宇;;基于支持向量机的键盘密码输入异常检测方法研究[A];2004全国测控、计量与仪器仪表学术年会论文集(上册)[C];2004年
6 董恩生;董永贵;贾惠波;;飞机交流发电机异常检测方法的研究[A];第二届全国信息获取与处理学术会议论文集[C];2004年
7 张立燕;;基于定点成分分析的高光谱图像低概率异常检测方法研究[A];中国地理学会百年庆典学术论文摘要集[C];2009年
8 许列;王明印;;基于隐马尔可夫模型(HMM)实时异常检测[A];中国通信学会第六届学术年会论文集(上)[C];2009年
9 王树广;;分布式数据流上的连续异常检测[A];2008年全国开放式分布与并行计算机学术会议论文集(上册)[C];2008年
10 于延;王建华;张军;;基于RBF和Elman混合神经网络的入侵检测系统的研究[A];2009年全国开放式分布与并行计算机学术会议论文集(上册)[C];2009年
中国博士学位论文全文数据库 前10条
1 郑黎明;大规模通信网络流量异常检测与优化关键技术研究[D];国防科学技术大学;2012年
2 周俊临;基于数据挖掘的分布式异常检测[D];电子科技大学;2010年
3 吴志忠;移动设备及网络的异常检测方法研究[D];中国科学技术大学;2013年
4 赵静;网络协议异常检测模型的研究与应用[D];北京交通大学;2010年
5 熊伟;基于突变理论及协同学的网络流量异常检测方法研究[D];华中科技大学;2011年
6 魏小涛;在线自适应网络异常检测系统模型与相关算法研究[D];北京交通大学;2009年
7 马丽;基于流形学习算法的高光谱图像分类和异常检测[D];华中科技大学;2010年
8 夏正敏;基于分形的网络流量分析及异常检测技术研究[D];上海交通大学;2012年
9 郁继锋;基于数据挖掘的Web应用入侵异常检测研究[D];华中科技大学;2011年
10 贺伟凇;骨干网络流量异常行为感知方法研究[D];电子科技大学;2011年
中国硕士学位论文全文数据库 前10条
1 李中魁;基于动态阈值的网络流量异常检测方法研究与实现[D];电子科技大学;2010年
2 金飞蔡;基于移动agent技术的入侵检测系统的设计与实现[D];电子科技大学;2004年
3 詹伟;关系数据库入侵检测系统的设计与实现[D];华中科技大学;2004年
4 李丹;异常数据挖掘算法研究及其在税务上的应用[D];山东大学;2005年
5 陈霞云;基于移动代理的入侵检测系统[D];西安电子科技大学;2004年
6 李婷;基于程序行为的异常检测模型研究[D];青岛大学;2004年
7 李波;基于数据挖掘的异常模式入侵检测研究[D];东北大学;2005年
8 朱义鑫;基于网络的隐马尔可夫异常检测技术研究[D];新疆大学;2005年
9 杜瑞峰;网络流量监测技术的研究及其在安全管理中的应用[D];中南大学;2005年
10 郝双;对拒绝服务攻击的检测方法研究[D];清华大学;2005年
中国重要报纸全文数据库 前10条
1 本报记者 边歆;异常检测是阻止蠕虫攻击的最好方法?[N];网络世界;2006年
2 Garry Sexton;入侵防护兼顾检测与防范[N];中国计算机报;2003年
3 吴作顺;IDS的普遍缺陷[N];中国计算机报;2002年
4 ;网络管理的活力元素[N];网络世界;2005年
5 刘波记者季昌仁;提高体温检测精度 严把抗非设备质量[N];中国质量报;2003年
6 记者 毛磊;三维虚拟结肠镜 可提高结肠息肉检测精度[N];新华每日电讯;2003年
7 费宗莲;安全防御的“动”感魅力[N];中国计算机报;2005年
8 ;IDS续存论对峙灭亡论[N];网络世界;2003年
9 ;怎么解决IDS的问题[N];中国计算机报;2003年
10 中联绿盟、李群;IDS的关键:解决好误报和漏报[N];中国计算机报;2002年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978