基于非均衡数据分类的高速网络入侵检测研究

【摘要】： 随着计算机技术和网络技术的飞速发展,层出不穷的网络攻击所造成的危害越来越大,网络安全面临着严峻的挑战。如何在高速网络环境下及时、高效地处理大量的网络数据包和降低误报率是目前网络入侵检测系统面临的一个主要难题。 对高速网络环境下的入侵检测系统模型进行了研究,提出了基于负载均衡机制的两阶段入侵检测模型—TSMBLB模型。基于该模型,提出了面向分层检测的攻击分类方法。由于入侵检测系统中所要处理的数据是海量的、非平衡的,因此,在TSMBLB模型的离线建模阶段采用了非平衡数据分类技术建立检测模型。本文的主要创新成果如下: 1.针对高速网络入侵检测系统在处理速度上的不足,提出了TSMBLB基于负载均衡机制的两阶段入侵检测模型。整体上分为在线检测和离线建模两个阶段,在线检测阶段通过负载均衡器把从网络中截获的数据按负载均衡算法分流给多个检测器,各个检测器检测的结果提交给分析主机进行分析处理。离线建模阶段是对已有的数据集经过预处理器,采用与在线检测阶段相同的负载均衡算法进行分流,然后对各部分数据分别学习建模,建立的模型用于在线检测。该模型通过负载均衡的机制加快数据处理速度,用异常检测的方法来检测新的攻击。 2.为了使攻击检测系统化,构造高效的检测方法,提出了面向分层检测的攻击分类方法。基于TSMBLB模型,根据系统能及时检测攻击的先后顺序对攻击分类,把检测任务分阶段交给各自检测器完成,各检测器之间遵循:如果能在高层检测到,在低层中就不要再检测的原则,这样可以保证分类无重复,而且也简化了检测过程,提高了检测效率。 3.针对网络入侵检测系统对少数类攻击检测率低的问题,设计了一种基于TSMBLB模型的非均衡数据分类框架。采用Relief方法进行特征选取、改进的SMOTE过抽样增加少数类,采用集成学习AdaBoost和随机森林算法建立分类器,分层10折交叉验证方法对预测模型进行了评估,用精确度、召回率、F度量值和ROC曲线对分类性能进行了比较。实验结果表明,该框架可有效提高少数类攻击的检测率。 4.由于网络数据包中存在大量的“无用”和“噪音”样本,提出了基于最近邻的快速分层重抽样方法FHNN。把原数据集划分成几个子集并对每个子集分别重抽样,把重抽样结果合并即为目标样本集。对每个子集中重抽样时,先从子集的每个类中随机抽出一个样本作为构造子集,然后用构造子集对子集上的每个样本最近邻学习,分类不正确则加入构造子集。结果表明,FHNN方法不仅可以很好的删除噪声数据和冗余信息,尤其是类区域内样本,减小数据的不平衡度和样本总量,而且由于算法时间复杂度是线性阶的,在样本数量很大的情况下,运行速度非常快。另外,当新的数据到来时,只需把新的数据集作为一个子集进行FHNN重抽样,然后把抽样结果合并到原目标样本集即可完成更新。