支持向量机学习算法研究

【摘要】：统计学习理论中的支持向量机方法具有全局最优、结构简单、推广能力强等优点，是目前机器学习和模式识别领域的研究热点之一。但是，支持向量机方法自身的复杂性成为其处理大规模数据时的“瓶颈”问题。本文针对支持向量机的时间复杂度和空间复杂度等问题，分别就支持向量机的快速学习和增量学习问题方面进行了研究。 本文研究工作主要围绕以下几个方面进行： 首先概述了本文研究内容的基础——统计学习理论与支持向量机方法，描述并比较了目前研究与应用较多的几种变形算法，为本文后续的研究方向与内容进行了铺垫。 提出了启发式支持向量机快速学习方法。借鉴主动学习的思想，利用支持向量的几何特点，提出选择支持向量的启发式规则；以启发式规则和内积矩阵分解算法为基础，进行对样本的启发式训练和快速分类。前者尽可能地选择了对分类器最有利的样本进行训练，提高了训练速度和训练精度；后者则在保证了分类精度不损失的前提下，提高了分类速度。 提出一种支持向量机的渐进增量学习算法；研究了支持向量机在处理大规模数据时的增量学习方法和策略，分析了基于分块法和基于KKT条件的代表算法的特点和不足；利用由初始的分类器确定的KKT条件来选择一部分增量样本进行训练，有效地降低了对样本训练所需要的时间，并避免了增量样本分布对初始学习结果的影响，提高了增量学习的精度。 提出了一种基于多支持向量机分类器的并行学习算法。考虑到样本集的分布对分类器性能的影响，通过距离阈值选择一定数量的样本作为必要的反馈，构成循环式的反馈以更新分类器，使各分类器的分类性能在全局最优。 提出了一种改进的Cascade SVMs算法；分析了反馈产生的原因及方式，提出以交叉反馈的方式来缩短Cascade SVMs算法中逐层合并支持向量集产生反馈的时间，在保证分类器的分类性能的同时，缩短了更新分类器需要的时间。 将支持向量机方法应用于虚拟企业伙伴决策问题中。针对常规虚拟企业