数据挖掘算法优化研究与应用

【摘要】：随着现代社会的高速发展,各种各样的信息以及数据呈现爆炸式的增长,积累的信息和数据越来越多。这些存放在媒介中的海量数据,在没有外部工具的帮助下,人们很难从这些巨大的数据量中找到有用的信息,这些数据将成为垃圾数据。 数据挖掘技术的出现,很好地解决了这个问题。数据挖掘技术可以从大量的数据中分析学习数据中对用户有用的模式和规则,利用这些学习到的模式和规则,当有新的样本数据的时候,可以根据已有的模式和规则来预测样本数据可能的特性。 数据挖掘分类是数据挖掘的重要步骤之一,而在数据挖掘分类算法中,决策树分类算法是数据挖掘中应用较广的一种分类算法,它主要有ID3分类算法和C4.5分类算法,ID3有着简单易操作的优点,但也有着偏向于处理小数据集,以及只能处理离散属性的缺点,C4.5算法可以很好的弥补ID3算法对连续属性的处理不足的缺点,但C4.5算法同样有着处理增量学习和大数据量问题的不足。解决决策树算法的增量学习问题就是本文研究的切入点。 本文主要对数据挖掘中的分类算法进行详细的介绍和描述,然后将分类算法和数据挖掘增量学习技术相结合,提出了一种增量式决策树算法来解决决策树经典算法的增量学习问题,并对该算法进行了实验数据分析。针对数据挖掘中常见的分类算法,包括：决策树分类算法、最近邻居算法和神经网络这三种最常见分类算法,进行了详细的介绍和描述,并对这三种算法的分类性能进行了比较研究。本文选取决策树分类算法中ID3算法和C4.5算法进行详细的研究,详尽的介绍了这两种分类算法的基本步骤,包括决策树生成和决策树剪枝的基本步骤并列举实例来演示算法的原理。同时分析了ID3算法和C4.5算法的优缺点；最后,根据前面对ID3算法和C4.5算法的性能和优缺点分析,综合贝叶斯分类算法的增量学习特性,提出了一种增量式决策树算法,并通过分析实验数据,该算法很好地解决了决策树算法的增量学习问题。