基于决策树的分类算法研究和应用

【摘要】：面对信息时代海量数据的出现,如何有效利用海量的原始数据分析现状和预测未来,已经成为人类面临的一大挑战。由此,数据挖掘技术应运而生并得到迅猛发展。 数据挖掘是指从数据库中抽取隐含的、具有潜在使用价值信息的过程,是一种新型的数据分析技术,被广泛应用于银行金融、保险、政府、教育、运输等企事业单位及国防科研上。数据挖掘应用的普遍性及带来的巨大经济和社会效益,吸引了许多专家和研究机构从事该领域的研究。 数据分类是数据挖掘中一个重要的内容。分类存在很多方法,其中决策树归纳以其易于提取显式规则、计算量相对较小、可以显示重要的决策属性和较高的分类准确率等优点而得到广泛的应用。据统计,目前决策树算法是利用最广泛的数据挖掘算法之一,利用率高达19%。应用领域已由医疗到博弈论和商务等领域,是一些商业规则归纳系统的基础。 寻找新的构造决策树和简化决策树的方法一直是决策树技术研究的一个热点。SLIQ算法和SPRINT算法很好的解决了磁盘驻留数据太大以至于无法被内存容纳带来的问题。它没有采纳利用抽样或划分数据集来获得可容纳于内存的小树据的处理方法,而是采用了一种新的数据结构,直接在整个数据集上建立一棵决策树。但SPRINT、SLIQ等算法处理的训练集的大小都是固定的,来自稳定的环境,人为干预较少,忽视了数据的变化趋势。在现实生活中,数据集并不是稳定的,而是连续到来的。将现有的算法改进使其能够适应不断生长的训练集,生成一棵与旧树相关的树是十分有现实意义的。 本文的研究工作源于上述的背景,目的是对数据库知识发现进行深入的研究,探索数据挖掘中决策树的更新问题,以更好的应用于实际工作中,主要进行了以下的研究工作: 1、指出构造好的决策树的关键在于如何选择好的逻辑判断或属性,比较了信息增益、基尼指数属性选择度量方法的优缺点,探讨了将离散属性值组合计算基尼指数来构造二叉树的方法。 2、研究了决策树的几种生成算法和剪枝算法,比较了它们的优缺点,特别是针对可伸缩的SPRINT算法做了全面的分析。深入探讨了建树算法与剪枝算法的集成问题,即Public算法以及一个可应用于其它算法