数据流中频繁项集挖掘算法及其应用研究

【摘要】： 数据流研究是目前一个新兴的热门领域,国内外学者提出了各种数据流处理的技术、算法和具体应用。和传统静态数据库中的数据不同的是,数据流是连续的、无限的、高速的、数据分布随着时间而改变的数据序列。数据流频繁项集挖掘是数据流挖掘领域的基本问题之一,已经引起国内外研究者的广泛关注,提出了许多有效的数据流频繁项集挖掘算法。 针对数据流的特点,论文对数据流处理模型和数据流挖掘中的关键问题做了介绍,对当前的一些数据流频繁项集挖掘算法进行了分析,比较和总结。 本文在此基础上,提出了一种实时的挖掘数据流近似频繁项的算法(NEC算法)和基于滑动窗口的数据流频繁项集挖掘算法(SWFPT-Miner算法)。NEC算法在允许的偏差范围内,能有效地挖掘数据流中的所有频繁项。在有限的存储空间和及时处理数据流的前提下,降低了数据项的最坏处理时间,满足在线实时分析处理要求,提高了输出结果的精确率。理论分析和实验验证了这种方法的有效性。SWFPT-Miner算法采用分段的思想,逐段挖掘频繁项集,通过挖掘局部频繁项集,可以有效地挖掘所有的频繁项集。通过滑动窗口技术,可以快速获取最近一个时期内的频繁项集。分析和实验表明算法有较好的性能。 最后,在研究数据流频繁项挖掘的基础上,实现了一个基于数据流挖掘的网站排名应用系统。