基于增量学习的分类算法研究

【摘要】： 本文主要研究了支持向量机(Support Vector Machine,简称SVM)的增量学习算法。统计学习理论是机器学习领域的一个新的理论体系,它非常适用于解决有限样本下的机器学习问题。支持向量机是建立在统计学习理论基础上的新型机器学习方法,是在统计学习理论的基础上发展起来的一种小样本学习理论,具有全局最优、结构简单、推广能力强等优点,目前在模式识别、信号处理、控制、数据挖掘等多个领域都得到了广泛应用。但是经典的支持向量机不支持增量学习,在大规模数据的情况下,训练速度会下降,因此提高学习算法的分类性能对SVM增量学习的研究具有重要的理论意义和实用价值。 目前已有一些成熟的支持向量机学习算法得到广泛的应用,比如块算法、分解算法,以及最著名的SMO算法等。本文的研究工作是,在研究现有支持向量机增量学习算法的基础上,寻找新的基于增量学习的支持向量机分类算法,使得该算法在大规模数据样本的情况下,仍然能取得较好的分类性能,并用仿真实验验证算法的有效性。本文主要做了以下两个工作: 第一,介绍了最小二乘支持向量机的数学原理,分析了支持向量的性质和增量学习的过程,给出了一种基于误差阈值的增量学习过程。该算法利用预测误差阈值进行样本的取舍,在尽量保留有用信息的情况下减小样本训练规模。随后的基于UCI数据集的实验结果表明,该算法获得较快的训练速率和较高的分类精度。 第二,给出了一种基于隶属度函数的增量学习算法。在进行SVM增量学习的过程当中,初始训练样本集中的非支持向量在后续的训练中有可能成为支持向量;本文算法对非支持向量增加一个隶属度函数,设定一个参数利用隶属度函数判断非支持向量是否保留。基于UCI标准数据集的实验结果表明,该算法是有效、可行的。