收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

高阶神经网络的梯度训练算法收敛性分析

张超  
【摘要】: 传统的神经网络是由多层的求和单元构成的,例如多层感知器等.这些网络不但是学者们研究的热点并且已经在各个领域得到了广泛应用.由于求和单元自身的非线性映射能力有限,因此在解决复杂的问题时,单纯由求和单元构成的网络可能无法达到要求的精度.例如,尽管有结论指出,有求和单元构成的单隐层前馈网络可以以任意的精度逼近任意函数.但是在逼近某个复杂的函数时,网络的隐层中需要补充大量的求和单元.这不但增大了网络的成本,而且还降低了网络的泛化能力. 为了克服这个缺点,人们引入了某些具有更强的非线性性质的单元,例如:Sigma-Pi单元,积单元和Pi-Sigma单元等.这些单元可以通称为高阶单元.在结构中整合了高阶单元的神经网络被称为高阶神经网络(HONN),其中包括Sigma-Pi神经网络(SPNN),Pi-Sigma神经网络(PSNN)以及积单元神经网络(Product-Unit neural network-PUNN)等.人们已经对各类高阶神经网络的性能以及应用做了相应的研究,但是由于高阶神经网络的结构复杂,因此对其理论上的研究相对较少. 梯度算法是目前最流行的前馈神经网络训练算法.梯度法有两种不同的执行方式,它们是在线执行方式和批处理执行方式.本文主要的工作是分析用梯度法训练高阶神经网络的收敛性.我给出了Sigma-Pi神经网络和积单元神经网络的梯度法收敛性结果.此外,我还研究了用高阶神经网络来实现任意的布尔函数,并给出了有效地解决方案. 本文的结构及内容如下: 第一章回顾有关神经网络的一些背景知识. 在第二章中,通过对Σ-Π-Σ这类Sigma-Pi神经网络的分析,得到了一些与网络结构无关的梯度算法收敛性结论.该结论具有很好的扩展性,可以涵盖其他几类Sigma-Pi神经网络的收敛性,其中包括Σ-Σ-Π和Σ-Π-Σ-Π.并且此结论也适用于单隐层的求和神经网络,即Σ-Σ.在论述的过程了,对于训练过程中的误差函数的单调性也给出了相应的证明. 第三章和第四章分别对用批处理梯度算法和在线梯度算法训练积单元神经网络时误差函数的单调性及收敛性进行了分析.该结论为由全局搜索算法和局部优化算法(梯度法)构成的组合算法的局部优化行为提供了理论支持.随后的数值试验也验证了理论结果的正确性. 第五章提出了二进积单元神经网络(Binary Product-Unit neural network-BPUNN),并证明了这种网络可以模拟逻辑数学中的主析取范式,可以实现任意的布尔函数.网络的权值是通过直接计算得到的,而且都是二值的.随后还给出了该网络的规则读取算法,可以令我们从已得的网络中直接得到真值样本的数学表达式. 第六章提出了带有输入转换的二进Pi-Sigma神经网络(BPSNN),并证明了这种网络可以实现任意的布尔函数.该网络在计算布尔函数时,对应着主合取范式.网络权值都是{-1,1}这样二值的,而且网络的训练不需要多步迭代的过程,权值是直接求解得到的.随后还给出了此网络的规则读取算法.


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 朱文莉;一类具有时滞的神经网络的稳定性分析[J];电子科技大学学报;2000年05期
2 廖晓昕,傅予力,高健,赵新泉;具有反应扩散的Hopfield神经网络的稳定性[J];电子学报;2000年01期
3 张菊亮,章祥荪;一个新的解线性规划的神经网络(英文)[J];运筹学学报;2001年02期
4 罗公亮;从神经网络到支撑矢量机(上)[J];冶金自动化;2001年05期
5 蒋德云,张弓;谷物识别中对神经网络的优化(英文)[J];农业工程学报;2002年05期
6 王芳荣,周德义,郑咏梅,王鼎,张铁强;生物表面光谱特性识别的神经网络方法[J];吉林大学学报(信息科学版);2002年03期
7 宋光雄,何胜锋,曹辉,张峥,钟群鹏;基于Hopfield神经网络的腐蚀失效模式识别[J];金属热处理学报;2003年01期
8 王学武,谭得健;神经网络的应用与发展趋势[J];计算机工程与应用;2003年03期
9 陈有伟,李为民;基于混合训练神经网络的武器系统效能评估[J];计算机工程与应用;2003年08期
10 刘斌,刘新芝,廖晓昕;脉冲Hopfield神经网络的鲁棒H-稳定性及其脉冲控制器设计(英文)[J];控制理论与应用;2003年02期
11 刘国良,强文义,麻亮,陈兴林;基于粗神经网络的仿人智能机器人的语音融合算法研究[J];控制与决策;2003年03期
12 董广强,韩继光,邢艳芳;神经网络在曲线图中的应用[J];农机化研究;2003年01期
13 李盼池;基于过程神经网络的市场需求预测分析[J];情报杂志;2003年03期
14 卢德林,章祥荪,陈洁;集成神经网络快速估价模型[J];系统科学与数学;2003年03期
15 冯芙叶,赵高长,张佺举;梯度神经网络的H-稳定性[J];西北农林科技大学学报(自然科学版);2003年01期
16 王雪峰,邬建华,冯英浚,王建元;运用样本更新的实时神经网络进行短期电力负荷预测[J];系统工程理论与实践;2003年04期
17 李曼苹,张劲峰;基于神经网络的飞行器测高方案研究[J];系统工程与电子技术;2003年07期
18 柳炳祥,盛昭翰;基于粗神经网络的企业危机预警系统设计[J];信息与控制;2003年01期
19 王学峰,张峰;神经网络中引入数值积分寻优法[J];兵团教育学院学报;2003年01期
20 王金华,向红军;一类二元具时滞的神经网络的周期解[J];郴州师范高等专科学校学报;2003年02期
中国重要会议论文全文数据库 前10条
1 王雷;陈宗海;;神经网络在过程系统建模中的应用综述[A];'2002系统仿真技术及其应用学术论文集(第四卷)[C];2002年
2 周宗潭;胡德文;;自组织的神经网络方法和群落生长模型研究[A];1995年中国智能自动化学术会议暨智能自动化专业委员会成立大会论文集(上册)[C];1995年
3 侯媛彬;易继锴;杨玉珍;陈双叶;韩崇昭;;一种能消除混沌现象的神经网络[A];1996年中国智能自动化学术会议论文集(上册)[C];1996年
4 江铭炎;江铭虎;;一种神经网络特征压缩及分类的研究[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
5 陈文新;王长富;戴蓓倩;;基于神经网络的汉语四声识别[A];第一届全国语言识别学术报告与展示会论文集[C];1990年
6 刘丰;姜建新;程俊;易克初;;一种用于语音识别的神经网络[A];第二届全国人机语音通讯学术会议论文集[C];1992年
7 梁循;;神经网络中训练样本空间的分割特性及其应用[A];1995中国控制与决策学术年会论文集[C];1995年
8 黄小原;肖四汉;樊治平;;神经网络预警系统及其应用[A];1995中国控制与决策学术年会论文集[C];1995年
9 李艳;邵日祥;方建安;邵世煌;;神经网络在功率电子及拖动控制中的应用[A];1996中国控制与决策学术年会论文集[C];1996年
10 高文忠;顾树生;平力;;静态神经网络新算法及其收敛性初探[A];1994年中国控制会议论文集[C];1994年
中国博士学位论文全文数据库 前10条
1 曾喆昭;神经网络优化方法及其在信息处理中的应用研究[D];湖南大学;2008年
2 陈先来;基于干细胞机制的进化神经网络及其应用研究[D];中南大学;2010年
3 楼旭阳;复杂神经网络动力学机制及其应用研究[D];江南大学;2009年
4 汪木兰;神经网络硬化实现的共性技术在电力传动中应用研究[D];合肥工业大学;2010年
5 冯伟;时滞随机神经网络的稳定性研究[D];重庆大学;2009年
6 裴浩东;基于神经网络的稳态优化和控制研究[D];浙江大学;2001年
7 陆婷;进化回归神经网络的研究及应用[D];华南理工大学;2003年
8 吕建成;神经网络中的若干问题研究[D];电子科技大学;2006年
9 张超;高阶神经网络的梯度训练算法收敛性分析[D];大连理工大学;2008年
10 陈薇娜;一类离散神经网络系统的分支研究[D];复旦大学;2009年
中国硕士学位论文全文数据库 前10条
1 沈花玉;神经网络在医学诊断中的应用研究[D];天津理工大学;2007年
2 曹影鹏;时滞神经网络及其离散化模型的稳定性分析[D];江南大学;2008年
3 邹宇;基于Hopfield神经网络和高精度算法的谐波电流检测方法研究[D];天津大学;2007年
4 苏卫卫;时变时滞神经网络的稳定性分析[D];燕山大学;2008年
5 钟义长;基于神经网络的电力电子装置故障检测与诊断[D];湖南科技大学;2007年
6 唐荣江;基于神经网络的汽车振动乘坐舒适性评价方法研究[D];吉林大学;2009年
7 李小燕;灰色神经网络预测模型的优化研究[D];武汉理工大学;2009年
8 郭军平;高阶双并联神经网络批处理梯度算法收敛性[D];大连理工大学;2009年
9 陈郁;遗传神经网络在模拟电路故障诊断中的应用[D];长春理工大学;2009年
10 文辉;基于神经网络的中药片剂包衣建模研究[D];南昌航空大学;2009年
中国重要报纸全文数据库 前10条
1 美国明尼苏达大学社会学博士 密西西比州立大学国家战略规划与分析研究中心资深助理研究员 陈心想;维护好创新的“神经网络硬件”[N];中国教师报;2014年
2 卢业忠;脑控电脑 惊世骇俗[N];计算机世界;2001年
3 葛一鸣 路边文;人工神经网络将大显身手[N];中国纺织报;2003年
4 中国科技大学计算机系 邢方亮;神经网络挑战人类大脑[N];计算机世界;2003年
5 记者 孙刚;“神经网络”:打开复杂工艺“黑箱”[N];解放日报;2007年
6 本报记者 刘霞;美用DNA制造出首个人造神经网络[N];科技日报;2011年
7 健康时报特约记者  张献怀;干细胞移植:修复受损的神经网络[N];健康时报;2006年
8 刘力;我半导体神经网络技术及应用研究达国际先进水平[N];中国电子报;2001年
9 ;神经网络和模糊逻辑[N];世界金属导报;2002年
10 邹丽梅 陈耀群;江苏科大神经网络应用研究通过鉴定[N];中国船舶报;2006年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978