基于网格方法的数据流聚类算法研究

【摘要】：数据流聚类是从大量的、有噪声的、模糊的、随机的流数据中发现不相连的、具有相似属性的簇，并使簇中数据的相似性尽可能高，不同簇中的数据的相似性尽可能低，它是数据挖掘领域的一个重要研究方向。在现有的数据流聚类算法中，基于网格方法的聚类算法具有较高的数据压缩比和较低的时间复杂度的特点,这使其在数据流聚类中有着较好的表现。但与此同时，网格方法也有其不足，主要是容易丢失簇边缘网格中的数据点，而这将导致网格聚类的正确率降低。另外，针对高维数据空间如何进行有效的聚类也是一个值得关注的问题，在高维数据空间中，数据点之间的距离趋近于相等，这给以数据点之间的距离作为数据相似性评价标准的聚类算法带来了挑战。 为此，本文的主要研究内容和成果如下。 首先，针对网格数据流聚类中簇边缘网格数据点丢失的问题，提出了基于可变密度阈值的网格数据流聚类算法VDTS。在传统的网格数据流聚类算法中，使用均匀划分网格并采用固定的密度阈值，而在VDTS算法中，采用不均匀划分的网格和可变的密度阈值，从而使簇中心部分的网格容易合并，形成较大的网格，簇边缘部分的网格不容易合并，保持较小的网格。VDTS算法既保留了网格数据流聚类算法的高数据压缩比又解决了簇边缘网格数据点丢失的问题。 其次，针对高维数据流聚类困难的问题，提出了高维数据流网格聚类算法HVDTS。在高维数据流的聚类中，通常的方法是对高维空间进行降维，其中一个关键的问题是如何降维，即如何选择那些对聚类影响较大的维并删除那些对聚类的结果影响较小的维。本文提出了一种维选择算法，通过比较数据点在每一维上的投影的平方误差和来判断该维对聚类结果影响的大小。经过维选择算法处理后，数据空间的维数降低到一个可以接受的范围，然后对降维后的数据集进行聚类，最终获得聚类结果。