基于特征空间理论的几种SVM参数选取结果

【摘要】： 支持向量机的参数选取问题是支持向量机研究中一类重要的问题,参数的选取直接影响到学习效果和支持向量机的性能。支持向量机的参数主要有核参数和正则参数。本文主要研究了如何利用最优化方法来解决支持向量机参数选取的问题。 1.本文在第二章中详细分析了RBF核函数SVM训练点在特征空间中的性质,建立了以后各章进行理论分析的基本框架,分析里在极限情况下核参数对支持向量机性能的影响,得到了正则参数和核参数对于特征空间本质上的意义。 2.第三章基于K.Schittkowski和Dong的模型,建立了一个新的修正模型来选取正则参数,分析了K.Schittkowski方法产生数值不稳定性的原因,得到了发展新的参数选取方法的必要性。 3.第四章中分析了L_1-SVM相对L_2-SVM的优势,并利用新的误差界给出了L_1-SVM多参数选取的方法和结果。分析了影响算法执行效率的要素,指出了改进的方向,并给出了一种选取多参数的随机算法。 4.第五章给出了一种支持向量机参数调节方法。这个解法直接利用微分方程组的理论,求出的解是一条SVM解的路径。利用微分方程组的存在唯一性定理,我们得到了路径的存在唯一性,并给出了一种常微分方程组的近似解法求解SVM解的路径。 第五章中得到的解的路径的存在唯一性,开辟了利用微分方程法训练支持向量机的新途径。更进一步,得到了支持向量机是部分可控的结论。通过数值算法求解,证明了该算法的有效性。由于该方法在理论基础和大规模解法上研究的欠缺,这个新方法有望成为支持向量机研究的一个崭新的领域。