基于多重最小支持度的髙效用频繁项集挖掘算法研究

【摘要】：频繁项集挖掘是数据挖掘领域的重要研究方向之一,但是传统的频繁项集挖掘算法只考虑项集的支持度,这使得在挖掘过程中丢失一些用户感兴趣的项集。此外,由于数据流具有实时性、无限性和连续性的特性,这就要求在数据流环境中的频繁项集挖掘算法具有较高的时间和空间效率。本文对多重最小支持度和高效用项集挖掘算法问题进行描述,在数据结构和处理方法上,对目前已有的频繁项集和高效用项集挖掘算法的优缺点进行分析和总结,在此基础上做了以下研究工作：(1)在静态数据集中,针对现有的多重最小支持度挖掘算法会产生大量的中间候选集,增加了时间和内存的开销,且没有考虑项集的效用值等问题。本文利用多重最小支持度和效用值,构造了数据结构MHU-Tree,并提出用于修剪构造过程中全局MHU-Tree的PG策略和用于修剪挖掘过程中局部MHU-Tree的PL策略。在此基础上,提出了基于多重最小支持度的高效用频繁项集挖掘算法MHU-Growth,较大地减少中间候选项集的数量,快速地挖掘高效用频繁项集。通过与经典算法CFP-Growth++进行对比,验证了MHU-Growth算法在运行时间、候选项集产生的数量以及内存开销等性能上优于CFP-Growth++算法。(2)在数据流环境中,现有的高效用项集挖掘算法需要多次扫描数据库,而对用户来说,效用阂值难设置,过高或过低都会影响挖掘效果。针对这些问题,本文结合多重最小支持度和效用值,构造适用于数据流挖掘的数据结构TKHUF-Tree和构建存储效用信息的矩阵PMD和RMD,并提出PEU、RTS等阈值调整策略来自动调整效用阈值的大小,减少中间候选项集的产生数量以及数据库扫描次数。(3)在TKHUF-Tree的基础上,提出了top-k高效用频繁项集数据流挖掘算法TKHFDS,它利用滑动窗口模型来处理数据流数据,并提出minTKUtil策略来调整下一个窗口的效用阂值,快速、有效地挖掘出高效用频繁项集。最后,将算法TKHFDS与传统算法TKU及T-HUDS进行对比,实验验证了TKHFDS算法在时间和内存开销等性能上的有效性。