收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

原始空间中支持向量机若干问题的研究

刘叶青  
【摘要】: 支持向量机成为一种主要的机器学习技术已经有十多年了,然而它的大部分学习算法都是在对偶空间针对其对偶问题提出的。近年来的研究表明,直接在原始空间对支持向量机的原始问题进行求解也是训练支持向量机的一种有效途径。随着人们在原始空间对支持向量机研究的深入,实际应用中碰到的各种问题也开始在原始空间进行求解,如半监督学习问题等。但总体来说,支持向量机在原始空间中的研究还不是很多,也不够完善。因此,本文重点研究了原始空间中支持向量机分类算法的以下四个问题。 1.针对光滑支持向量机中现有的光滑函数逼近精度不高的问题,将正号函数变形并展开为无穷多项式级数,由此得到了一族多项式光滑函数,并证明了这类光滑函数的优良性能,它既能满足任意阶光滑的要求,也能达到任意给定的逼近精度。最后将得到的多项式光滑函数用于求解广义支持向量机。 2.半监督支持向量机利用大量的未标记样本和少量的标记样本共同学习以改进其泛化性能,最后得到一个非凸优化问题,对其优化采取两种策略:组合优化和连续优化。组合优化的具体方法是给出了一个自训练半监督支持向量机分类算法,它的子程序是用前面得到的多项式光滑函数在原始空间求解标准支持向量机。接下来用连续优化的方式给出了一个多项式光滑的半监督支持向量机分类算法,给出的多项式函数有严格的理论基础,并且在样本的高密度区逼近精度高,而当逼近精度低时,则出现在样本的低密度区。 3.直接方法是一类常用的无约束优化技术,简便实用,它和之前用于支持向量机的循环算法不同,不是一次更新w的所有分量,而是每次通过解一个单变量的子问题来更新w的一个分量。本文分别用Hooke and Jeeves模式搜索法、Rosenbrock转轴法和Powell方向加速法求解线性支持向量机,并分析了算法的复杂性。 4.支持向量机采用的线性Hinge损失函数对噪声样本产生的损失没有限制,这是支持向量机对噪声敏感的根本原因。由于特殊的损失函数能有效抑制噪声产生的损失,本文据此给出了一个全新的双曲正切损失函数,并在此基础上给出了相应的健壮支持向量机。 实验表明上述方法和结果在支持向量机算法中均具有较好的学习性能。


知网文化
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978