基于Web日志的序列模式挖掘算法的研究

【摘要】： 随着信息时代的来临,人们越来越依赖来自网络中的信息,同时对信息搜索技术的准确率的要求也越来越高。然而,由于网络中的信息量呈爆炸式增长,并且还包括各种虚假,不相关等的信息垃圾,无形中给用户的访问造成了极大困扰。于是如何在有效时间内找到用户真正需要的信息,成为了当前Web日志挖掘研究领域的热点问题。而其中序列模式挖掘则是作为较为重要的Web日志挖掘技术的一个重要研究分支,越来越被学者们关注。 近年来很多学者针对搜索技术提出了效率较高,符合用户需求的序列模式挖掘算法。序列模式挖掘技术具有广泛的实际应用价值,它可以在具有序列特征的数据上进行挖掘,找到满足用户需求的潜在模式,商业用户通过分析这些模式进行策略或者结构上的改进措施,以达到他们不同的目的,如提高服务质量或者提高个性化服务等。比如,序列模式挖掘在商业领域中被网站用来进行用户访问模式挖掘,网络超市用这个技术来进行用户购买行为预测等,生物学家用它来进行生物DNA序列挖掘等。因此,序列模式挖掘技术研究具有重要的实际意义。 本文主要的研究工作是在Apriori算法基础上,利用SPADE算法存储策略,来简化连接和测试过程,同时为了提高算法效率,也为了使挖掘结果更加符合用户需求,在Apriori算法上添加能够反映用户需求的时间约束。Apriori算法具有的突出问题是：扫描数据库次数多,搜索空间大,产生大量的候选集。 所以本文通过添加时间约束对Apriori算法进行改进,希望能达到缩小搜索空间,减少候选集和找到满足用户需求的模式的目的。同时为了缩小算法执行过程中占用的内存,本文提出了一个五元组存储策略,这样同时也能够简化搜索过程。虽然添加了时间约束,会增加算法的复杂度,但改进后的算法在整体上效率还是有所提高的。本文充分考虑了改进算法的运行效率,能达到较好的准确率及召回率,并借鉴其他通过时间约束进行改进的算法,实现了本文的挖掘算法,取得了一定的挖掘效果。