神经网络与支持向量机相关问题研究

【摘要】：本文主要目的在于研究神经网络与支持向量机的相关问题。 神经网络的理论研究起源于1943年,美国心理学家McCulloch与数学家Pitts合作,用逻辑的数学工具研究客观事件在形成神经网络中的表述,从此开始了对神经网络研究的热潮。到了上个世纪末,随着Grossberg、Hopfield以及Sejnowski等人的神经网络模型的建立,更加刺激了神经网络的理论和应用研究。 自从Hopfield和Tank关于回归神经网络的初始工作[50][51][110]以来,回归神经网络,或者称为Hopfield神经网络,其稳定性、收敛性等动力学特征,特别是在优化、信号处理、模式识别等领域的应用,越来越受到人们的关注。在本文中,针对Hopfield神经网络的数学性质及其在最优化等领域的应用做了一系列研究,特别是给出了闭凸集上连续可微优化的神经网络模型与闭凸集上一般互补问题(隐互补问题)的神经网络模型,并研究了它们的数学性质(解的整体存在性、收敛性、稳定性等)。 支持向量机(support Vector Machine,简记为SVM)是九十年代中叶Vladimir N. Vapnik教授领导的研究小组提出的一种新的智能机器,源于七十年代迅速发展起来的统计学习理论,特别是体现了结构风险极小化的思想和方法。由于支持向量机在模式识别、回归估计、函数逼近、风险预算、金融序列分析、密度估计、新奇性检验等各个领域获得了巨大成功,立刻成为机器学习、神经网络、人工智能等方向的专家与学者研究的热点。 在本文里,我们提出了一些基于样本空间的分离、选取的快速计算方法,并提出了利用神经网络模型解支持向量机所提出的二次规划问题的方法,具体的实验也说明了所提出方法的有效性。 第一章,绪论。在这一章中,我们简单介绍了神经网络和支持向量机的发展历史及研究现状,并对论文的主要结果给以简单介绍。 第二章,约束优化问题的神经网络方法。对于约束的优化问题,一向很难有简单有效的神经网络模型,近年来, [66][64][65]等文章中提出了基于投影算子的神经网络模型,用来解决紧凸约束的连续可微优化问题和闭凸约束的凸连续可微优化