基于网格和密度的数据流聚类研究

【摘要】：当前，由于网络入侵检测、实时监控系统以及web上用户的点击流数据等等动态的应用环境下不断地形成时序的、海量的、迅速变化的以及潜在无穷的数据流，对于数据流的挖掘研究已经变得非常重要并且富有实用价值。聚类分析作为数据挖掘领域当中一个非常重要的问题，目前已经被广泛地进行了研究。但是数据流的模型并不等同于传统的数据集，这个时候新的要求以及挑战就随之而产生了。 通过对传统的聚类方法研究，发现存在的数据流聚类算法如CluStream是基于k-means算法的。这些聚类算法对于找到任何形状的聚类是不合适的，并且不能处理异常点。进一步而言，它们需要k的值以及用户特定的时间窗口。而基于网格与密度的聚类方法拥有非常多可以应用到数据流处理的相关特点，比较容易实现数据流的聚类相关处理。因而，在对基于网格与密度的传统聚类算法进行研究以及改进的基础上，从聚类的过程中所需要处理的数据集的动态特性出发，对基于网格与密度的数据流聚类方法进行了相关研究并提出GDCLUS，一种用基于密度的方法来进行数据流的聚类。这种算法运用在线组件将每一个输入数据记录映射到一个网格中，而离线组件主要采用最小生成树的思想来进行网格的聚类。这种算法采用了一种密度衰减的技术来获取数据流的动态变化，通过发现衰减因子，数据密度以及聚类结构之间复杂的关系，算法能够有效地实时产生并且调整聚类。进一步地，将改进的金字塔框架运用到数据流在线组件数据筛选，这种技术，在没有降低聚类质量的前提下，使得高速率的数据流聚类更加可行。实验结果表明，算法有优秀的质量和效率，能够发现任意形状的聚类，并且能够准确识别实时数据流的进化特征。 最后，对于实际的数据流相关应用领域，对于算法的相关性能进行了测试，并在用于网络入侵检测的KDDCup99数据集上进行了相关实验，验证了算法的可行性。