递归神经网络稳定性分析

【摘要】： 人工神经网络(以下简称神经网络)是通过对动物或人脑的基本单元-神经元建模和连接，探索模拟动物或人脑神经系统的学习、联想、记忆和模式识别等功能的人工模型。20世纪40年代随着McCulloch-Pitts模型的提出标志着神经网络的诞生，并引起了早期的神经网络研究热潮。此后神经网络的研究却经历了一段低迷的发展时期。直到20世纪80年代，由于Hopfield神经网络的提出，使得神经网络的研究又重新开始复苏。Hopfield神经网络是一种经典的递归神经网络。由于递归神经网络的全互连结构使得该网络表现出极其复杂的动力学行为。而作为一个动力系统所表现出来的各种稳态模式是神经网络系统模拟生物神经系统学习、联想、记忆和模式识别等一系列智能活动的基础。稳定性分析是动力学系统动态分析中的重要内容。 神经网络由于具有极大的理论和应用价值引起了广泛的关注。例如神经网络已经成功地应用于图像与信息处理、模式识别以及联想记忆中。众所周知，以上提及的神经网络的各种工程应用都非常关键地依赖于神经网络的稳定性特性和动态行为。本文将基于Lvapunov稳定性理论，以M-矩阵理论、线性矩阵不等式(LMI)方法以及LaSalle不变集原理等等为主要研究工具，对递归神经网络中的一系列重要问题，如时滞神经网络全局指数稳定性问题，吸引域估计问题以及绝对指数稳定性问题进行研究。具体来说包括如下六章内容： 第一章首先回顾了神经网络的研究历史，并指出本文研究的Hopfield神经网络模型作为一种典型的递归网络在神经网络研究历史上的地位。随后在介绍神经网络的结构的基础上分别介绍了前馈神经网络和递归神经网络，并对这两类网络进行了介绍。最后，用框图对全文的篇章结构进行了总体描述。 第二章介绍了全文的预备知识。这些预备知识包括本文中将要用到的一些定义、定理以及一些不等式。由于Lyapunov稳定性理论是自始至终贯穿全文稳定性分析的一个基本理论，因此在这一部分对Lvapunov稳定性理论做了比较详细的介绍。此外，在这一部分还集中介绍了本文将要研究的几种递归神经网络模型。由于激活函数的特性对于神经网络的性能至关重要，因此在本章的最后把目前文献中常见的激活函数类作了个归纳。本文第三章和第四章中研究的广义递归神经网络的激活函数就属于这些函数类中的一种。 第三章提出了一种新的Lyapunov泛函方法研究变时滞广义递归神经网络的全局指数稳定性。随后又运用该方法分别研究了变时滞神经网络、Hopfield神经网络以及变时滞Hopfield神经网络的全局指数稳定性问题。通过与现有的结果相比较可以看出，现有结果中被广泛采用的M矩阵判据可以看作本章中得出判据的一种特殊情况。此外，与其他类型的判据相比较也可以看出，本章中得出的判据保守性更小。在本章的最后以一个实际的具有两个神经元的神经网络为例展示了本章中主要结论的有效性。 第四章基于Lyapunov-Krasovskii泛函和Lyapunov-Razumikhin函数思想以及LaSalle不变集原理，提出了一种新的广义变时滞递归神经网络的吸引域估计方法。该方法与现有的吸引域估计方法相比最大的两个优势在于，吸引域可以在Matlab中通过求解一个凸优化问题获得，此外该方法可以用来研究具有时滞的神经网络吸引域估计问题。采用的基本思路是在研究系统平衡点的局部指数稳定性的基础上，把稳定性条件和其他的约束转化为LMI形式。随后，通过定义参考集并以参考集的放大倍数为目标函数，以LMI为约束条件构造优化问题，通过在Matlab中求解凸优化问题得到平衡点的吸引域估计。本章最后以一个具有两个神经元的神经网络为例说明本章中提出方法的有效性。 第五章研究了具有广义激活函数的递归神经网络的绝对指数稳定性。该网络激活函数的每一个分量分别属于一对凸或凹的分段线性函数构成的凸包。这种类型的激活函数类与其他类型的激活函数类相比，更加灵活和准确地描述了激活函数的形状。网络平衡点的绝对指数稳定的研究分为三步：第一步证明了具有广义激活函数的递归神经网络和具有凸包顶点激活函数的递归神经网络在全局指数稳定性上的等价性，由于这种等价性接下来的稳定性研究仅仅针对具有凸包顶点激活函数的递归神经网络。第二步把具有凸包顶点激活函数的递归神经网络转换成具有饱和线性激活函数的递归神经网络并建立两者之间在全局指数稳定性上的等价性。第三步运用Lyapunov稳定性定理并结合M矩阵理论研究平衡点的全局指数稳定性。在本章的最后同样通过一个例子来展现和说明本章结论的有效性。 第六章对神经网络稳定性最新的研究进展作了个综述。随后，对接下来的研究作了展望。