递归神经网络梯度学习算法的收敛性
【摘要】:
人工神经网络(Artificial Neural Networks,简写为ANNs)是一种模拟生物神经网络结构进行信息处理的数学模型,也简称为“神经网络”(Neural network,NNs)。按照网络结构可分为两类:前向神经网络(FeedForward NNs)和递归神经网络(Recurrent NNs)。
在前向神经网络中,前一层的输出为下一层的输入,信息的处理具有逐层传递进行的方向性,一般不存在反馈环路。前向神经网络实现输入向量x到输出向量y的映射,通常称之为静态映射,可用于处理与时间无关的对象,如文字识别,曲线逼近等问题。而在非线性动态系统建模、辨识、控制、故障诊断以及时间序列预测等许多领域中,经常涉及到两个离散时间序列x(t)和y(t)之间的映射,其中y(t)不仅依赖于x(t),而且还依赖于x(t-1),x(t-2),…,以及y(t-1),y(t-2),…,一般称之为动态映射。处理这类问题的网络本身应是一个动态系统,为此需要在网络中引入记忆功能。递归神经网络通过它们自身的暂态操作能够处理时变的输入和输出,它实现的是动态映射,比前向神经网络更适合于解决动态系统的问题。
类似于前向神经网络,在训练递归神经网络时经常使用简单的梯度搜索算法。由于其递归的特性,致使对梯度的计算也是递归的,从而使其学习较前向网络要复杂得多。递归神经网络梯度学习算法的重要研究的课题之一便是其收敛性理论,对其开展研究不仅有助于我们理解方法的本质与特性,而且对其众多的具体应用也有着重要的指导意义。
第一章回顾了有关神经网络的一些背景知识。
第二章讨论了全递归神经网络梯度下降学习算法的收敛性。我们给出了误差函数单调性及收敛性定理,并给出了数值试验结果。
第三章考虑有限样本集上Elman网络梯度学习算法的确定收敛性。证明了误差函数的单调递减性,在此基础上,给出了一个弱收敛性结果和一个强收敛结果,即误差函数的梯度收敛于零,权值序列收敛于固定点。数值试验验证了理论结果的正确性。
第四章研究了在Elman神经网络的误差函数梯度中部分地去掉反馈项时对其性能的影响,主要目的是为了解决计算量太大的难题。我们分析了这种近似梯度算法的收敛性,得到了在学习过程中目标函数的单调性及近似梯度趋近于零的结果。
第五章揭示了递归神经网络梯度学习算法的等价性。递归神经网络的两种经典学习算法分别为实时递归学习算法和随时间演化的反向传播算法,当权值更新为批方式时,我们证明这两种算法是等价的,二者所生成的权值增量相同。
第六章针对递归神经网络的一些改进学习算法,给出了收敛性结果。
|
|
|
|
1 |
汪晓梦;;带有偏差单元的递归神经网络在故障诊断方面的应用优化[J];甘肃联合大学学报(自然科学版);2010年05期 |
2 |
韩敏,史志伟;递归神经网络在堆石坝地震响应分析中的应用[J];系统仿真学报;2005年10期 |
3 |
金仁贵;;带有偏差单元的递归神经网络在故障诊断方面的应用[J];电脑知识与技术(学术交流);2006年29期 |
4 |
吴志敏;;基于新型PID神经网络的自适应控制系统研究[J];科学技术与工程;2008年01期 |
5 |
徐笑;谷俊杰;彭钢;;Elman神经网络在热工辨识中的应用研究[J];机械工程与自动化;2008年01期 |
6 |
刘涵;叶平;;基于递归神经网络的LS-SVM硬件实现与实验研究[J];仪器仪表学报;2009年08期 |
7 |
张奇志,贾永乐,周雅莉;噪声有源控制的递归神经网络方法[J];控制与决策;2001年03期 |
8 |
田社平,丁国清,颜德田,石猛;基于递归神经网络的传感器非线性动态建模(英文)[J];测试技术学报;2004年02期 |
9 |
韩敏;史志伟;席剑辉;;应用递归神经网络学习周期运动吸引子轨迹[J];控制理论与应用;2006年04期 |
10 |
杜福银;徐扬;;基于递归神经网络的预测模糊控制[J];西南交通大学学报;2006年06期 |
11 |
刘涵;王博;尹嵩;刘丁;;一种基于FPGA的新的SVM硬件实现方法[J];仪器仪表学报;2010年10期 |
12 |
尉询楷,李应红,张朴,路建明;基于支持向量机的时间序列预测模型分析与应用[J];系统工程与电子技术;2005年03期 |
13 |
马千里;郑启伦;彭宏;钟谭卫;;基于动态递归神经网络模型的混沌时间序列预测[J];计算机应用;2007年01期 |
14 |
徐戎;;一种改进的递归神经网络盲均衡算法[J];电子科技大学学报;2007年02期 |
15 |
陈钢;王占山;;连续时间递归神经网络的稳定性分析[J];沈阳理工大学学报;2007年02期 |
16 |
王维兰;陈万军;;基于笔划特征和MCLRNN模型的联机手写藏文识别[J];计算机工程与应用;2008年14期 |
17 |
邵慧娟;熊煜;;带有偏差单元的IRN网络[J];电脑知识与技术;2010年23期 |
18 |
蒋洪睿,苏启常,莫玮;递归神经网络自适应均衡器研究[J];桂林电子工业学院学报;1999年03期 |
19 |
王大志,金辉,唐任远;基于改进算法递归神经网络的研究[J];沈阳工业学院学报;2003年02期 |
20 |
陈如清,沈士根;基于递归神经网络的旋转机械故障诊断方法[J];振动、测试与诊断;2005年03期 |
|