收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

递归神经网络梯度学习算法的收敛性

徐东坡  
【摘要】: 人工神经网络(Artificial Neural Networks,简写为ANNs)是一种模拟生物神经网络结构进行信息处理的数学模型,也简称为“神经网络”(Neural network,NNs)。按照网络结构可分为两类:前向神经网络(FeedForward NNs)和递归神经网络(Recurrent NNs)。 在前向神经网络中,前一层的输出为下一层的输入,信息的处理具有逐层传递进行的方向性,一般不存在反馈环路。前向神经网络实现输入向量x到输出向量y的映射,通常称之为静态映射,可用于处理与时间无关的对象,如文字识别,曲线逼近等问题。而在非线性动态系统建模、辨识、控制、故障诊断以及时间序列预测等许多领域中,经常涉及到两个离散时间序列x(t)和y(t)之间的映射,其中y(t)不仅依赖于x(t),而且还依赖于x(t-1),x(t-2),…,以及y(t-1),y(t-2),…,一般称之为动态映射。处理这类问题的网络本身应是一个动态系统,为此需要在网络中引入记忆功能。递归神经网络通过它们自身的暂态操作能够处理时变的输入和输出,它实现的是动态映射,比前向神经网络更适合于解决动态系统的问题。 类似于前向神经网络,在训练递归神经网络时经常使用简单的梯度搜索算法。由于其递归的特性,致使对梯度的计算也是递归的,从而使其学习较前向网络要复杂得多。递归神经网络梯度学习算法的重要研究的课题之一便是其收敛性理论,对其开展研究不仅有助于我们理解方法的本质与特性,而且对其众多的具体应用也有着重要的指导意义。 第一章回顾了有关神经网络的一些背景知识。 第二章讨论了全递归神经网络梯度下降学习算法的收敛性。我们给出了误差函数单调性及收敛性定理,并给出了数值试验结果。 第三章考虑有限样本集上Elman网络梯度学习算法的确定收敛性。证明了误差函数的单调递减性,在此基础上,给出了一个弱收敛性结果和一个强收敛结果,即误差函数的梯度收敛于零,权值序列收敛于固定点。数值试验验证了理论结果的正确性。 第四章研究了在Elman神经网络的误差函数梯度中部分地去掉反馈项时对其性能的影响,主要目的是为了解决计算量太大的难题。我们分析了这种近似梯度算法的收敛性,得到了在学习过程中目标函数的单调性及近似梯度趋近于零的结果。 第五章揭示了递归神经网络梯度学习算法的等价性。递归神经网络的两种经典学习算法分别为实时递归学习算法和随时间演化的反向传播算法,当权值更新为批方式时,我们证明这两种算法是等价的,二者所生成的权值增量相同。 第六章针对递归神经网络的一些改进学习算法,给出了收敛性结果。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 刘春霞;隋美娥;武心庆;;基于递归神经网络的转速估计器仿真研究[J];青岛理工大学学报;2011年01期
2 汪晓梦;;带有偏差单元的递归神经网络在故障诊断方面的应用优化[J];甘肃联合大学学报(自然科学版);2010年05期
3 韩敏,史志伟;递归神经网络在堆石坝地震响应分析中的应用[J];系统仿真学报;2005年10期
4 金仁贵;;带有偏差单元的递归神经网络在故障诊断方面的应用[J];电脑知识与技术(学术交流);2006年29期
5 吴志敏;;基于新型PID神经网络的自适应控制系统研究[J];科学技术与工程;2008年01期
6 徐笑;谷俊杰;彭钢;;Elman神经网络在热工辨识中的应用研究[J];机械工程与自动化;2008年01期
7 刘涵;叶平;;基于递归神经网络的LS-SVM硬件实现与实验研究[J];仪器仪表学报;2009年08期
8 张奇志,贾永乐,周雅莉;噪声有源控制的递归神经网络方法[J];控制与决策;2001年03期
9 田社平,丁国清,颜德田,石猛;基于递归神经网络的传感器非线性动态建模(英文)[J];测试技术学报;2004年02期
10 韩敏;史志伟;席剑辉;;应用递归神经网络学习周期运动吸引子轨迹[J];控制理论与应用;2006年04期
11 杜福银;徐扬;;基于递归神经网络的预测模糊控制[J];西南交通大学学报;2006年06期
12 刘涵;王博;尹嵩;刘丁;;一种基于FPGA的新的SVM硬件实现方法[J];仪器仪表学报;2010年10期
13 尉询楷,李应红,张朴,路建明;基于支持向量机的时间序列预测模型分析与应用[J];系统工程与电子技术;2005年03期
14 马千里;郑启伦;彭宏;钟谭卫;;基于动态递归神经网络模型的混沌时间序列预测[J];计算机应用;2007年01期
15 徐戎;;一种改进的递归神经网络盲均衡算法[J];电子科技大学学报;2007年02期
16 陈钢;王占山;;连续时间递归神经网络的稳定性分析[J];沈阳理工大学学报;2007年02期
17 王维兰;陈万军;;基于笔划特征和MCLRNN模型的联机手写藏文识别[J];计算机工程与应用;2008年14期
18 邵慧娟;熊煜;;带有偏差单元的IRN网络[J];电脑知识与技术;2010年23期
19 蒋洪睿,苏启常,莫玮;递归神经网络自适应均衡器研究[J];桂林电子工业学院学报;1999年03期
20 王大志,金辉,唐任远;基于改进算法递归神经网络的研究[J];沈阳工业学院学报;2003年02期
中国重要会议论文全文数据库 前10条
1 苏彩红;曾永发;张志飞;吴菁;;一种突触后抑制递归神经网络结构及其在模式识别中的应用[A];第二十六届中国控制会议论文集[C];2007年
2 武新华;张义凤;高晶波;;转子—轴承系统非线性参数辨识研究[A];2003大型发电机组振动和转子动力学学术会议论文集[C];2003年
3 刘勇;沈毅;胡恒章;;递归神经网络自适应滤波器[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
4 王继泉;左学胜;;基于递归神经网络的坦克车辆故障诊断系统[A];2006中国控制与决策学术年会论文集[C];2006年
5 张燕;杨鹏;郭欣;张雪萍;颜威利;;基于递归神经网络的下肢表面肌电信号分类研究[A];2005中国控制与决策学术年会论文集(下)[C];2005年
6 蒲兴成;;时变时滞不确定递归神经网络渐近稳定的一个充分条件[A];2008’“先进集成技术”院士论坛暨第二届仪表、自动化与先进集成技术大会论文集[C];2008年
7 李鸿儒;邓长辉;顾树生;温馨;;递归神经网络快速学习算法的研究[A];2000中国控制与决策学术年会论文集[C];2000年
8 沈艳霞;江俊;纪志成;;基于递归神经网络的永磁同步电机控制器设计[A];2005全国自动化新技术学术交流会论文集(三)[C];2005年
9 马龙;;基于递归神经网络的航空发动机故障诊断[A];十三省区市机械工程学会第五届科技论坛论文集[C];2009年
10 吕强;郭孔辉;张翠芳;;基于递归多层神经网络的非线性动力学系统辨识[A];1995年中国智能自动化学术会议暨智能自动化专业委员会成立大会论文集(上册)[C];1995年
中国博士学位论文全文数据库 前10条
1 徐东坡;递归神经网络梯度学习算法的收敛性[D];大连理工大学;2009年
2 赵永昌;一类时滞静态递归神经网络的动力学行为研究[D];中国海洋大学;2010年
3 王芬;递归神经网络的动力学行为分析[D];武汉科技大学;2011年
4 张锐;几类递归神经网络的稳定性及其应用研究[D];东北大学;2010年
5 王扬帆;基于偏微分方程的时滞递归神经网络的动力分析与多尺度图像处理研究[D];中国海洋大学;2011年
6 韩旭明;若干改进的人工免疫算法及其在大气环境领域中的应用[D];吉林大学;2010年
7 赵海全;基于非线性函数扩展的流水线型自适应滤波理论与方法研究[D];西南交通大学;2011年
8 毕革新;递归神经网络的动态系统辨识及其在船舶运动控制中的应用研究[D];大连海事大学;2009年
9 王建民;基于回声状态网络的非线性时间序列预测方法研究[D];哈尔滨工业大学;2011年
10 刘力军;求对称矩阵特征值的神经网络方法[D];大连理工大学;2006年
中国硕士学位论文全文数据库 前10条
1 鞠宪龙;二阶对角递归神经网络的算法研究及应用[D];哈尔滨工程大学;2011年
2 章国升;基于递归神经网络的非线性系统辨识研究[D];兰州大学;2010年
3 刘博瑞;两类时滞递归神经网络的全局稳定性分析[D];中国海洋大学;2010年
4 孙小淇;三类递归神经网络的稳定性分析[D];中国海洋大学;2011年
5 刘延玲;递归神经网络记忆存储器的两个应用[D];天津大学;2012年
6 葛洋;多时滞递归神经网络的指数稳定性研究[D];曲阜师范大学;2010年
7 尹汉钊;基于递归神经网络与集成算法的时间序列预测应用研究[D];西安电子科技大学;2010年
8 罗政;关于Z-矩阵的修正不完全高斯—塞德尔迭代法谱半径的单调性[D];浙江大学;2003年
9 陈耿彪;动态神经网络在液压系统模型辨识中的应用[D];长沙理工大学;2005年
10 安红娜;弱Orlicz空间的若干性质[D];哈尔滨理工大学;2009年
中国重要报纸全文数据库 前10条
1 河南南阳市八中 赵丽;关于复合函数的单调性问题[N];学知报;2011年
2 通讯员  昝忠良;透明 文明 高效 优质[N];人民代表报;2006年
3 国海证券固定收益证券研究中心 杨永光;升值预期考验央行汇控能力[N];证券时报;2005年
4 秋 津;进军手机受挫创维、长虹3C战略如何走向?[N];中国企业报;2005年
5 山东省莱州市沙河镇中心小学 杜洪芝;“六招”培养学生计算能力[N];大众科技报;2007年
6 万国测评 陆飞;业绩浪可能会产生[N];山西经济日报;2001年
7 深圳商报记者 邓小群 整理;用好五十天 创造小奇迹[N];深圳商报;2003年
8 本报记者 蒋永峰;为把实验室成果转化为生产力[N];湖南经济报;2007年
9 和鹏;让画面更靓丽[N];中国计算机报;2002年
10 河南农业大学教授 杜心田 郑州大学教授 白铭洁;不定等式及其意义[N];科技日报;2011年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978