基于多类损失函数的SVR算法的比较研究

【摘要】：支持向量机(Support Vector Machine, SVM)是Vapnik等人于20世纪90年代初提出的一种基于统计学习理论与结构风险最小化原则的新型学习机器。由于其具有优越的学习能力,能够较好地解决小样本、非线性、高维数等实际问题,在国内外学术界已日益受到广泛的重视,在模式识别、函数估计、预测建模等方面都得到越来越多的应用。 支持向量机(SVM)在引入损失函数下被用来解决回归问题从而被称为支持向量回归机(SVR)。比较常见的损失函数有ε-不敏感损失函数、高斯损失函数、鲁棒损失函数和拉普拉斯损失函数。基于ε-不敏感损失函数的SVR算法的理论和实际应用都比较成熟,而基于高斯损失函数,鲁棒损失函数或拉普拉斯损失函数的SVR算法理论仍需进一步完善。 本文借鉴e-不敏感损失函数的SVR算法理论,借助拉格朗日对偶理论分别推导出了其他三种损失函数下的SVR算法,并将SVR算法与时间序列分析方法中的AR模型算法组合,通过实际数据分析比较基于各种不同损失函数的SVR算法的有效性。数值试验中我们重点讨论了SVR算法中各个参数的选取。本文中所用到的参数选取方法可为进一步研究提供参考。 最后本文在实验数据的分析比较下给出了总结和展望。