基于数据挖掘的自适应入侵检测建模研究

【摘要】：随着网络技术的不断发展和网络应用范围的不断扩大，对网络的各类攻击与破坏也与日俱增，随着网络攻击手段的多元化、复杂化、智能化，单纯依赖防火墙等静态防御已难以胜任网络安全的需要。入侵检测作为一种主动的信息安全保障措施，有效地弥补了传统安全防护技术的缺陷，但是面对不断增大的网络流量、日益更新的网络设施和层出不穷的攻击方式，传统的入侵检测模型越来越暴露出不足：自适应能力不强，不能够检测到一些新的或未知形式的入侵；建模代价高，系统更新速度慢；可扩展性差，从某个环境中收集数据建立的检测模型不能很好地应用于其它环境的系统。在计算机网络环境中，一个性能良好的入侵检测系统应具备有效性、适应性和可扩展性，而其关键在于构造出更通用的检测模型，减少在模型构造过程中的特别因素以及对专家经验的过多依赖。本文提出了一种新的基于数据挖掘技术的自适应入侵检测模型DMAIDM(Data Mining Adaptive Intrusion Detection Model)，该模型采用数据挖掘技术从收集到的系统和网络行为记录中挖掘出潜在的安全信息，自动提炼成入侵模式，并随环境的变化自动更新入侵模式库。采用通用的评估数据集KDD99 Set对DMAIDM进行评价，结果表明，DMAIDM能保持在较低误检率(0.92％)的基础上，很好地检测出(71.67％)记录集中存在的未知入侵，尤其在R2L和U2R这两类入侵的检测上相比KDD 99大赛中的结果具有优异的表现。最后把该模型放在实际的网络环境中运行测试，测试结果验证了DMAIDM建模方法的有效性。 本论文以公安部科研项目：“具有免疫功能的自适应防入侵监测系统”为背景，结合“华中电力信息网络安全管理及实时数据传输问题的研究”课题，围绕具有自适应功能的入侵检测建模问题展开了研究。本论文主要做了以下工作： 1．阐述了入侵检测系统的分类，探讨了入侵检测系统的体系结构，系统全面地综述了入侵检测模型的研究进展状况，指出了当前所存在的问题。 2．提出了一种新的基于数据挖掘技术的自适应入侵检测模型DMAIDM(Data Mining based Adaptable Intrusion Detection Model)，给出了详细的设计原则、设计思路及其模型结构，并给出了审计信息源的收集和预处理方法。DMAIDM模型采用无监督自学习机制，利用划分聚类技术将系统和网络行为集划分为正常行为库和异常行为库，再利用关联规则挖掘和频繁序列模式挖掘技术从划分出的正常行为库和异常行为库中挖掘出关联模式和频繁序列模式，经过模式比较、模式合并，形成入侵模式，进而构建成入侵模式库。由于入侵模式的提取是通过对行为记录的挖掘自动 完成，因此能根据当前的环境自动更新模式库;另外，DMAIDM不依赖于训练数据 集和预先的背景知识，建模代价小。DMAIDM建模方法为入侵检测研究提供了一条 新思路。 3.提出了面向混合类型数据的快速启发式聚类算法FHCAM(Fast Heuristic clustering Aigorithmfo:Mixed data)，并给出了异常行为库和正常行为库的划分原理 及其实现方法。FHCAM算法利用记录间的非相似度，采用启发式方式对系统和网络 行为集进行划分聚类。FHCAM算法解决了传统聚类算法在入侵检测领域所存在的混 合类型数据相异性计算、大流量数据快速聚类要求、以及最终聚类数目未知等问题。 文中给出了FHCAM算法的相关定义，详细描述了FHCAM算法的推导过程，并进 行了一系列的对比性评估，对评估结果进行了详尽的分析讨论，进而提出了“静则 勿动，变才需求”的优化方法。评估结果表明，FHCAM算法无论在运算效率还是在 聚类效果上均优于k一means算法。在FHCAM算法的基础上，提出了正常/异常行为 库的划分方法，给出了划分原理及其实现过程，划分评估结果验证了该方案的有效 性，该划分方法可以用于入侵模式库的构建和实时异常检测。纵观本章的研究工作， 本文提出的面向混合类型数据的快速启发式聚类算法FHCAM及基于此算法的异常/ 正常行为库的划分方法为异常行为的识别研究提供了一条崭新的技术途径。 4.提出了基于属性约束的模糊规则挖掘算法ACFMAR(Aitribute一Constrained Based凡zzy Mining月gorithm for Rules)，并在ACFMAR算法的基础上，提出了入侵 模式库的智能构建方法，并给出了构建原理及其具体实现方式。针对模式挖掘中的 “不相关规则”问题，引入了“主因子属性”、“参考属性”和“属性相关支持度” 等属性约束策略来减少不相关规则的产生，提高挖掘效率:利用“主因子属性”来 减少不相关规则项的产生，提高规则的兴趣度;利用“参考属性”来挖掘包含更多 信息的频繁序列模式;利用“属性相关支持度”来处理低分布率属性，挖掘出“稀 少”异常行为记录的规则，增强入侵模式库的完备性。针对“尖锐边界”问题，提 出了将特征属性模糊集作为单一属性来处理的模糊规则挖掘算法FMAAR(Fuzzy Mining川gorithm for怒soeiation Rules)，并通过关于网络流量的一个异常检测实验验 证了该方法的有效性。在ACFMAR算法的基础上，给出了入侵模式库的构建原理及 方法，并就构建过程中的问题给出了具体的解决方法。本文所提出的基于属性约束 的模糊规则挖掘算法ACFMAR不仅是对数据挖掘