支持向量回归机理论及其工业应用研究

【摘要】：基于数据的机器学习是现代智能信息处理技术十分重要的一个方面，主要研究如何从一些观测数据出发得出目前尚不能通过原理分析得到的规律，从而利用这些规律去分析、认识客观对象，并对未来数据或无法观测的数据进行预测。 支持向量机是在统计学习理论基础上发展起来的一种新的机器学习方法。它最先由Vapnik及其合作者在20世纪90年代提出，近年来无论是从理论研究、算法实现还是应用方面都有了突飞猛进的发展。 然而，作为一种相对年轻的技术，支持向量机在许多方面仍不完善。因此进一步发展和完善支持向量机的理论和方法，以及拓展支持向量机在实际中的应用范围具有十分重要的意义。本文针对支持向量回归机理论和应用两方面进行研究和探索，主要工作包括以下几个方面： 1)提出了一种基于信息几何的支持向量回归机核函数构建算法。支持向量机的性能在很大程度上依赖于核函数的选取，然而目前对于核函数的选择还缺乏理论指导。在从信息几何角度分析核函数几何结构的基础上，提出一种核函数构建算法，使得核函数能充分利用样本数据的信息，从而提高支持向量回归机的性能；在钢水温度预报中的应用表明了方法的有效性。 2)证明了核框架下SILF-SVR与普通Kriging的等价性关系。从数值分析的角度看，支持向量回归机是一种数据插值方法。在给出一种由新的“统一”损失函数(SILF)得到的支持向量回归机的“统一”表达式(SILF-SVR)后，证明了其与另一种数据插值方法——普通Kriging的等价性；并根据两者的等价性关系给出一种核函数参数的选择方法。 3)提出了一种基于领域知识的支持向量回归机算法。标准的支持向量机是完全基于数据的，也即是说，由标准的支持向量机算法得到的模型与问题的领域知识无关，完全取决于训练数据本身。然而实际中我们总可以得到一定的领域知识，为了解决此问题，提出了一种集成领域知识的训练算法；在此基础之上给出了一种信息融合的框架。 4)研究了基于区间信息的支持向量回归机。在实际获取样本时，由于受到