支持向量机算法及其应用研究

【摘要】： 基于统计学习理论的支持向量机算法具有坚实的数学理论基础和严格的理论分析,具有理论完备、全局优化、适应性强、推广能力好等优点,是机器学习中的一种新方法和研究新热点。它使用结构风险最小化原则,综合了统计学习、机器学习和神经网络等方面技术,在最小化经验风险的同时,有效地提高了算法泛化能力。它与传统的机器学习方法相比,具有良好的潜在应用价值和发展前景。 本文分析和总结了现有的几种典型支持向量机算法,提出了基于组合式多类别分类器思想的PCA支持向量机算法、加权PCA支持向量机算法、借鉴核函数方法的小波支持向量机算法、RS-SVM动态预测方法、模糊二叉树支持向量机等算法,对其算法性能和应用作了深入研究。主要工作包括: 1.系统地研究了支持向量机的求解方法。主要有支持向量机的二次规划求解法、选块法、分解法、序列最小优化方法、基于Lagrange函数的迭代求解方法即Lagrange支持向量机、基于Smoothing处理的牛顿求解方法。这些方法是通过求解凸二次规划问题或将大规模问题转化成若干子问题再求解凸二次规划问题,或者是转化为无约束最优化问题再利用比较成熟的最优化方法求解。通过对它们的分析,为提出新的支持向量机算法提供了理论基础。 2.研究了基于L_p范数分类间隔的三种支持向量机。重点研究了L_1范数支持向量机在线性和非线性两种情形下的算法理论和实现,分析了采用L_p范数度量分类间隔的L_p范数支持向量机最优化问题表示方法。在高维特征空间中,L_1范数支持向量机表现出了较好的特征压缩效果,而且可以节省测试计算时间。 3.研究了PCA支持向量机及扩展算法。提出了PCA支持向量机组合式分类方法,解决了传统支持向量机不能进行特征变换的预处理问题。提出了加权PCA支持向量机算法,较好地解决了样本数目的不平衡对分类性能所带来的影响。其次,借鉴核函数思想,构造了一种核PCA(Kernel PCA)方法并用于特征变换,通过与支持向量机组合成为一种新的具有特征变换功能的Kernel PCA支持向量机分类算法。三种新的组合式支持向量机算法均可用于需消除噪声情形的模式识别问题。 4.在研究支持向量核函数条件的基础上,构造了一种基于小波核函数的小波支持向量机。分析了算法的收敛性、通用性和泛化能力。该算法扩充较为容易,实验结果表明小波支持向量机算法具有比较理想的函数逼近能力。 5.研究了基于支持向量机的系统辨识理论和方法。提出了一种适用于回转窑烧结温度检测的RS-SVM动态预测新方法,取得了较好的预测效果。对最小二乘