核方法在分类、回归与聚类方面的研究及应用

【摘要】： 近年来,核方法在模式识别与机器学习领域中得到了快速的发展。核方法的本质,是通过核函数,把数据从低维的输入空间映射到高维的特征空间。如在分类问题上,核方法可以使输入空间中线性不可分的数据,在特征空间中是线性可分的。 本论文对核方法中的鲁棒支持向量回归机、半监督多标记支持向量学习、稀疏支持向量学习及核聚类等四个方面进行研究。具体来说,本论文的工作分述如下: 针对鲁棒支持向量回归机问题,提出一种自适应误差惩罚支持向量回归机AEPSVR,该算法能够减少离群点对支持向量回归机的不利影响。进一步地,研究了鲁棒支持向量回归机的代价函数的性质,引入一类鲁棒代价函数族,实现了模糊鲁棒支持向量回归机FRSVR。FRSVR不仅具有鲁棒性的优点,而且能够对离群点进行识别。 对于半监督多标记的支持向量学习问题,研究一种半监督多标记支持向量算法SSML_SVM。SSML_SVM把半监督多标记学习问题转化为半监督单标记学习问题,然后基于MAP(Maximum a Posteriori)原则对未标记样本分类,通过迭代的方式求解半监督单标记学习问题。SSML_SVM能利用未标记样本的信息,提高多标记学习的性能。 在稀疏支持向量学习问题上,给出一种直接稀疏核回归机DSKR。在DSKR中,通过给ε-SVR支持向量回归机增加非凸约束,限定支持向量个数,然后用梯度下降法求解优化问题。DSKR算法可以显著地降低支持向量的数量,用更少的支持向量,得到较好的拟合结果。 在核聚类算法问题上,研究了两种改进的信任力传播聚类算法SSKAPC和AFAPC。SSKAPC用核函数将样本映射到高维空间,并使用先验信息辅助聚类,提高了聚类精度。AFAPC算法是一种基于万有引力的信任力传播聚类算法,该算法根据近邻样本之间的信息,加快聚类速度,能在更短的运行时间内,得到与信任力传播聚类算法相媲美的性能。 作者在攻读博士学位期间还进行了伪图像识别方面的工作,研究一种伪图像识别算法BERFS。BERFS从语义的角度,根据相对频域特征和语义特征识别伪图像,它不但可以检测伪图像,而且能较好地估计出模糊区。