收藏本站
《厦门大学》 2008年
收藏 | 手机打开
二维码
手机客户端打开本文

延迟反馈神经网络和两层反馈神经网络的研究

吴桂坤  
【摘要】: 反馈神经网络是神经网络中最重要的类型之一,这种网络的突出特点就是它具有联想记忆的功能。反馈神经网络最重要的范例就是Hopfield网络,它已经被人们广泛地研究过,然而Hopfield网络和它的许多变种都存在着一些严重的缺陷,比如伪吸引子问题和低存储率问题。这些缺陷严重地限制了它们的实际应用能力。另外,Hopfield网络是典型的非线性动力系统,在近十几年来非线性动力学的发展中,人们认识到到了非线性动力系统不仅可能存在不动点解,而且也可能存在大量的极限环或周期运动解。目前,绝大部分反馈神经网络都是利用系统的不动点作为信息存储的载体,但这种方式没有利用非线性动力系统大量存在的周期解,从某种意义上说是一种巨大的浪费。 最近,赵鸿教授提出了一套关于联想记忆反馈神经网络的整体学习规则(蒙特卡罗优化变异规则)[Phys.Rev.E.70,066137(2004)]。这种学习规则的基本思想就是:通过不断地优化变异随机选择的连接权矩阵元,从而使网络在给定的训练目标下达到整体最优。采用这种学习规则训练的反馈网络有许多非常有趣的动力学性质。特别是,用这种学习规则训练的反馈网络存在三个动力学性质非常不同的相区:混沌区、纯记忆区和混合区。在纯记忆区,伪吸引子被完全消除,因此它非常适合于联想记忆的应用。 本论文利用这套整体学习规则重点研究两个问题。第一个问题是推广蒙特卡罗优化变异规则的方法,使它能直接应用于延迟反馈神经网络的训练,并详细研究了用这种方法训练出的网络的动力学性能,如伪吸引子和存储率等。第二个问题是推广蒙特卡罗优化变异规则的方法,使它能直接应用于以极限环作为信息存储载体的网络,并研究极限环吸引子网络(包括多层反馈网络和延迟反馈网络)的动力学行为、网络性能,以及与对应的不动点吸引子网络的区别。 在本论文的第一部分,我们把蒙特卡罗优化变异规则推广到存储记忆模式为不动点吸引子和极限环吸引子的延迟反馈网络上,然后对这种延迟反馈网络的存储率和动力学性质进行研究。我们的研究表明,采用蒙特卡罗优化变异规则训练的延迟反馈网络,和采用关联学习规则训练的延迟反馈网络一样,最大存储率和延迟的长度成线性增长关系,但前者的数值远远高于后者;另外,蒙特卡罗优化变异规则训练的延迟反馈网络的推广能力也比关联学习规则训练的延迟反馈网络要好;还有一个有趣的发现就是,在蒙特卡罗优化变异规则训练的延迟反馈网络中,如果记忆极限环的长度足够大,伪吸引子会完全消失,网络不存在混合区。作为应用例子,我们演示了用延迟反馈网络存储具有交叉点的多个极限环,从一小串数字中联想起整个数字序列。 在本论文的第二部分,我们采用多层的蒙特卡罗优化变异规则构造了一个两层的反馈神经网络,并对它的动力学性质进行了研究。该网络可以把记忆模式存储成不动点吸引子或者极限环吸引子,我们对极限环吸引子网络和不动点吸引子网络的动力学性质进行了比较,并发现前者的存储质量要比后者好,特别是,当记忆模式存储成长的极限环时,伪吸引子完全消失。本部分我们还将演示极限环吸引子网络的一个可行的应用,给定一个图形片段,联想出整个图形。
【学位授予单位】:厦门大学
【学位级别】:博士
【学位授予年份】:2008
【分类号】:TP183

手机知网App
【引证文献】
中国博士学位论文全文数据库 前1条
1 王磊;造波机网络运动控制系统建模及控制技术研究[D];大连理工大学;2012年
中国硕士学位论文全文数据库 前2条
1 高东莲;神经网络学习算法及其应用[D];燕山大学;2012年
2 王丰;抗打印扫描的数字水印算法研究[D];西安电子科技大学;2011年
【共引文献】
中国期刊全文数据库 前10条
1 梁学斌;;离散Hopfield神经网络的统一描述[J];安徽大学学报(自然科学版);1993年02期
2 高志明,关岩,于洪梅,吴秀红,李井会;人工神经网络在化学中的应用进展[J];鞍山钢铁学院学报;2000年03期
3 刘军,兰家隆,王兆明;应用神经网络解决连线总长最短的门阵列布局算法[J];半导体学报;1992年08期
4 成奇明;张树京;;非线性方程组的一种神经元网络解法[J];北方交通大学学报;1992年01期
5 刘淑东;管群;;基于遗传算法的炮兵火力分配策略[J];兵工自动化;2005年05期
6 王新军;卿华;姚娇艳;;流水线加工调度问题的神经网络算法[J];兵工自动化;2011年10期
7 赵勇;刘凯;;数字挖掘方法在遥感分类中的应用研究[J];北京测绘;2009年03期
8 冯建峰,钱敏平;神经网络中的退火——非时齐情形[J];北京大学学报(自然科学版);1993年03期
9 冯建峰,钱敏平;神经网络中的退火:Ⅰ.时齐情况[J];北京大学学报(自然科学版);1993年05期
10 黄民;刘秀丽;谢厚正;;高档数控机床刀具磨损故障监测方法及实验系统[J];北京信息科技大学学报(自然科学版);2012年01期
中国重要会议论文全文数据库 前10条
1 严传魁;王如彬;;基于汉密尔顿原理的神经元模型[A];第十三届全国非线性振动暨第十届全国非线性动力学和运动稳定性学术会议摘要集[C];2011年
2 ;Edge Detection of Wood Defects in X-ray Wood Image Using Neural Network and Mathematical Morphology[A];第二十九届中国控制会议论文集[C];2010年
3 ;Synthesis of Boolean Networks Via Semi-tensor Product[A];中国自动化学会控制理论专业委员会A卷[C];2011年
4 郭东辉;Gerard Parr;;ATM交换机中以神经网络实现ATM信息胞排序交换的研究(英文)[A];信息科学与微电子技术:中国科协第三届青年学术年会论文集[C];1998年
5 ;Joint inversion of seismic data for acoustic impedance[A];中国科学院地质与地球物理研究所二○○四学术论文汇编·第一卷(地球深部)[C];2004年
6 吴章华;王莹;高学东;;具有自适应功能的企业资信分析神经网络系统[A];中国运筹学会第六届学术交流会论文集(上卷)[C];2000年
7 沈世镒;罗跃虎;;关于神经网络研究的若干问题[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
8 许进;保铮;;神经网络与图论[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
9 郭东辉;李立峰;刘瑞堂;吴伯僖;Gerard Parr;;ATM交换智能控制器的VHDL兑现方案[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
10 李立峰;郭东辉;刘瑞堂;吴伯僖;Gerard Parr;;神经网络在信元交换控制中的应用[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
中国博士学位论文全文数据库 前10条
1 孙明;基于小波和迟滞的混沌神经网络及其应用[D];哈尔滨工程大学;2010年
2 李桃迎;交通领域中的聚类分析方法研究[D];大连海事大学;2010年
3 郑大腾;柔性坐标测量机空间误差模型及最佳测量区研究[D];合肥工业大学;2010年
4 朱松;随机回归神经网络的动力学行为研究[D];华中科技大学;2010年
5 柴园园;普适的模糊推理系统理论及应用[D];北京交通大学;2011年
6 许伟;基于进化算法的复杂化工过程智能建模方法及其应用[D];华东理工大学;2011年
7 李曼荔;求解组合优化问题的神经计算方法[D];电子科技大学;2010年
8 桑永胜;空间数据分析的神经计算方法[D];电子科技大学;2010年
9 陈国庆;荧光光谱技术在食品安全监控中的应用研究[D];江南大学;2010年
10 栾小丽;基于神经网络的复杂非线性系统鲁棒控制与滤波研究[D];江南大学;2010年
中国硕士学位论文全文数据库 前10条
1 李连昌;新安煤田二_1煤层煤与瓦斯突出危险程度预测[D];河南理工大学;2010年
2 罗婷婷;飞机钣金叠板数控套裁下料软件系统的研究[D];南昌航空大学;2010年
3 徐小任;基于BP神经网络的城镇网络地价评估模型研究[D];广西师范学院;2010年
4 程慧;基于神经网络的两类问题研究[D];广西师范学院;2010年
5 吴家瑞;服装产品加工成本快速估算方法研究[D];浙江理工大学;2010年
6 王捷;数字图像边缘检测方法的若干改进与应用研究[D];浙江理工大学;2010年
7 雷明杰;神经网络和遗传算法在中厚板轧机中的应用研究[D];郑州大学;2010年
8 张华杰;模糊神经网络在肺癌诊断中的应用[D];郑州大学;2010年
9 赵振霞;基于神经网络的节水灌溉适宜技术优选模型研究及系统开发[D];山东农业大学;2010年
10 刘翠;水声图像阈值分割及智能优化算法的研究[D];哈尔滨工程大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 刘磊明;童朝南;;网络控制系统的一种统一的Markov跳变模型[J];北京科技大学学报;2007年11期
2 邢伟;王加房;王国良;;具有丢包的长时延NCS的稳定性分析[J];东北大学学报(自然科学版);2008年10期
3 吴晨;许哲;何婧;许化龙;;网络控制系统建模与控制[J];电光与控制;2009年09期
4 常玲芳;李惠光;;随机最优非线性网络控制系统设计[J];电机与控制学报;2006年04期
5 元亮;;针对时延和数据包丢失的网络控制系统分析与设计[J];电力科学与工程;2009年07期
6 李红军;李敬如;杨卫红;;基于信赖域法的城市电网供电能力充裕度评估[J];电网技术;2010年08期
7 朱望纯;章浦;耿建平;高海英;;VXI总线某导弹导引头自动测试系统[J];电子测量技术;2008年09期
8 高媛;;长时延网络控制系统的研究方法与展望[J];仪器仪表用户;2008年06期
9 董梦丽;曹晓梅;杨庚;;线性流量预测模型[J];广东通信技术;2010年08期
10 王晓敏;刘宏伟;李石妍;;一种基于差分进化的BP神经网络学习算法[J];电子设计工程;2011年15期
中国博士学位论文全文数据库 前10条
1 樊卫华;网络控制系统的建模与控制[D];南京理工大学;2004年
2 索格罗;网络传输对控制系统性能的影响分析与控制策略研究[D];清华大学;2005年
3 马新军;不确定时滞系统鲁棒稳定性及鲁棒控制研究[D];华南理工大学;2005年
4 吕建成;神经网络中的若干问题研究[D];电子科技大学;2006年
5 王帅宇;闭环网络伺服控制技术研究[D];北京理工大学;2006年
6 何飞跃;网络化控制系统在电力系统中的应用研究[D];华中科技大学;2006年
7 胡晓娅;基于交换式以太网的网络控制系统研究[D];华中科技大学;2006年
8 严怀成;网络控制系统的分析与综合[D];华中科技大学;2007年
9 张超;高阶神经网络的梯度训练算法收敛性分析[D];大连理工大学;2008年
10 徐东坡;递归神经网络梯度学习算法的收敛性[D];大连理工大学;2009年
中国硕士学位论文全文数据库 前10条
1 张杰;永磁同步电机伺服系统矢量控制的研究[D];哈尔滨工程大学;2010年
2 沈围;低速大转矩永磁同步电机控制系统研究[D];北京交通大学;2011年
3 柏春阳;基于自适应模糊PID的氯乙烯聚合釜温度控制研究[D];哈尔滨工业大学;2010年
4 缪礼锋;永磁同步伺服系统的设计与实现[D];中国科学技术大学;2011年
5 张丽强;印刷图像数字水印技术研究[D];国防科学技术大学;2005年
6 葛云露;抗打印扫描数字水印系统分析与算法研究[D];吉林大学;2007年
7 冀芊茜;抗打印扫描数字水印算法研究及其在证件防伪中的应用[D];吉林大学;2007年
8 刘路;基于小波变换的抗打印扫描数字水印研究[D];河北工业大学;2007年
9 张世维;航空发动机分布式控制系统结构多目标优化[D];南京航空航天大学;2007年
10 张益南;嵌入式Modbus/TCP协议的研究与实现[D];浙江大学;2008年
【二级引证文献】
中国硕士学位论文全文数据库 前1条
1 王魁;EtherCAT网络化数据采集系统的构建与研究[D];大连理工大学;2013年
【相似文献】
中国期刊全文数据库 前10条
1 代悦,黄孝斌,牛玉广;一种用于系统辨识与预测中的反馈神经网络[J];计算机仿真;2004年05期
2 杨天奇;一种基于反馈神经网络的异常检测方法[J];计算机应用;2005年04期
3 王保云,杨绿溪,何振亚;反馈神经网络中的极限环问题[J];东南大学学报;1995年01期
4 杨璐,高自友;基于神经网络的时序预测模型研究[J];北方交通大学学报;1998年03期
5 吴晓红;反馈神经网络的一种反向传播算法[J];系统工程与电子技术;1999年09期
6 李晓东,梁晓波;一类反馈神经网络对非线性连续系统近似能力的证明[J];电子学报;2001年01期
7 李晓东,杨国华;反馈神经网络对非线性时变离散系统的近似[J];中山大学学报(自然科学版);2002年05期
8 杨国华;反馈神经网络对非自治的非线性离散系统的近似能力[J];宁夏工程技术;2003年01期
9 陈奕琳;特征识别—反馈型神经网络设计[J];控制工程;2005年02期
10 帅藕莲;周三川;郑咸义;尹俊勋;冯久超;;基于逐层优化递推最小二乘算法的反馈神经网络[J];计算机科学;1998年06期
中国重要会议论文全文数据库 前9条
1 郭伟良;魏佰洋;王浩;孟凡欣;闫国栋;权宇彤;;反馈神经网络-遗传算法优化纤维堆囊菌代谢产物中两种埃博霉素含量的HPLC分析条件[A];吉林省第六届生命科学大型学术报告会论文集[C];2008年
2 安智宇;;一种启发式算法求解有交易成本组合投资问题[A];第三届不确定系统年会论文集[C];2005年
3 杨亚伟;;BP算法优化及应用研究[A];2005年全国理论计算机科学学术年会论文集[C];2005年
4 苏军希;;枯期洮河径流预报模型研究[A];水文泥沙研究新进展——中国水力发电工程学会水文泥沙专业委员会第八届学术讨论会论文集[C];2010年
5 陈赞成;王华火;吉国力;;Hopfield网络在非线性规划中的应用[A];2000中国控制与决策学术年会论文集[C];2000年
6 吴青娥;舒兰;;模糊无限状态自动机及其收敛性(英文)[A];第12届全国模糊系统与模糊数学学术年会论文集[C];2004年
7 云筠筠;王来成;吕冬梅;;浅谈人工神经网络在药物分析学研究中的现状[A];2010年中国药学大会暨第十届中国药师周论文集[C];2010年
8 周西峰;;线性时变系统自适应建模及算法[A];'99系统仿真技术及其应用学术交流会论文集[C];1999年
9 李明;舒宇;杨承;;非线性自适应逆控制系统的信号流图在线学习算法[A];第二十七届中国控制会议论文集[C];2008年
中国博士学位论文全文数据库 前10条
1 张强;反馈神经网络的动态行为研究[D];西安电子科技大学;2002年
2 金涛;非对称神经网在模式识别中的应用[D];兰州大学;2006年
3 吴桂坤;延迟反馈神经网络和两层反馈神经网络的研究[D];厦门大学;2008年
4 马润年;图论与神经网络的若干问题研究[D];西安电子科技大学;2002年
5 王瑞敏;神经元传输函数和网络噪音对联想记忆反馈网络动力学特性的影响[D];兰州大学;2006年
6 乔士东;反馈神经网络的结构设计、学习算法及其应用研究[D];国防科学技术大学;2005年
7 刘澍;基于改进蚁群算法与神经网络的调制识别研究[D];华中科技大学;2009年
8 夏军勇;热弹性效应和数控机床进给系统热动态特性的研究[D];华中科技大学;2008年
9 李明;基于动态神经网络的非线性自适应逆控制研究[D];南京理工大学;2007年
10 程华农;面向智能体的化工过程运行系统分析、模型化和集成策略的研究[D];华南理工大学;2002年
中国硕士学位论文全文数据库 前10条
1 方一博;反馈神经网络中的亚稳态研究[D];陕西师范大学;2013年
2 金智;反馈神经网络对非线性动力系统的逼近能力研究[D];宁夏大学;2014年
3 王明兴;连续禁忌搜索算法改进及应用研究[D];浙江大学;2005年
4 牛晓薇;基于小波神经网络理论盲均衡算法的研究[D];太原理工大学;2004年
5 张旭;网络入侵检测系统设计及与防火墙的联动处理研究[D];天津大学;2005年
6 鲁瑞;基于神经网络理论盲均衡算法的研究[D];太原理工大学;2003年
7 廖泽楷;基于神经网络的模糊自动机[D];电子科技大学;2008年
8 徐新黎;反馈神经网络优化方法及其在作业车间调度和ATM网络路由选择中的应用[D];浙江工业大学;2003年
9 文冬林;BP神经网络中一种逃离局部极小点的方法研究[D];贵州大学;2008年
10 曹东升;QSPR/QSAR中分子结构信息的挖掘和建模中奇异样本检测[D];中南大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026