收藏本站
《大连理工大学》 2008年
收藏 | 手机打开
二维码
手机客户端打开本文

高阶神经网络的梯度训练算法收敛性分析

张超  
【摘要】: 传统的神经网络是由多层的求和单元构成的,例如多层感知器等.这些网络不但是学者们研究的热点并且已经在各个领域得到了广泛应用.由于求和单元自身的非线性映射能力有限,因此在解决复杂的问题时,单纯由求和单元构成的网络可能无法达到要求的精度.例如,尽管有结论指出,有求和单元构成的单隐层前馈网络可以以任意的精度逼近任意函数.但是在逼近某个复杂的函数时,网络的隐层中需要补充大量的求和单元.这不但增大了网络的成本,而且还降低了网络的泛化能力. 为了克服这个缺点,人们引入了某些具有更强的非线性性质的单元,例如:Sigma-Pi单元,积单元和Pi-Sigma单元等.这些单元可以通称为高阶单元.在结构中整合了高阶单元的神经网络被称为高阶神经网络(HONN),其中包括Sigma-Pi神经网络(SPNN),Pi-Sigma神经网络(PSNN)以及积单元神经网络(Product-Unit neural network-PUNN)等.人们已经对各类高阶神经网络的性能以及应用做了相应的研究,但是由于高阶神经网络的结构复杂,因此对其理论上的研究相对较少. 梯度算法是目前最流行的前馈神经网络训练算法.梯度法有两种不同的执行方式,它们是在线执行方式和批处理执行方式.本文主要的工作是分析用梯度法训练高阶神经网络的收敛性.我给出了Sigma-Pi神经网络和积单元神经网络的梯度法收敛性结果.此外,我还研究了用高阶神经网络来实现任意的布尔函数,并给出了有效地解决方案. 本文的结构及内容如下: 第一章回顾有关神经网络的一些背景知识. 在第二章中,通过对Σ-Π-Σ这类Sigma-Pi神经网络的分析,得到了一些与网络结构无关的梯度算法收敛性结论.该结论具有很好的扩展性,可以涵盖其他几类Sigma-Pi神经网络的收敛性,其中包括Σ-Σ-Π和Σ-Π-Σ-Π.并且此结论也适用于单隐层的求和神经网络,即Σ-Σ.在论述的过程了,对于训练过程中的误差函数的单调性也给出了相应的证明. 第三章和第四章分别对用批处理梯度算法和在线梯度算法训练积单元神经网络时误差函数的单调性及收敛性进行了分析.该结论为由全局搜索算法和局部优化算法(梯度法)构成的组合算法的局部优化行为提供了理论支持.随后的数值试验也验证了理论结果的正确性. 第五章提出了二进积单元神经网络(Binary Product-Unit neural network-BPUNN),并证明了这种网络可以模拟逻辑数学中的主析取范式,可以实现任意的布尔函数.网络的权值是通过直接计算得到的,而且都是二值的.随后还给出了该网络的规则读取算法,可以令我们从已得的网络中直接得到真值样本的数学表达式. 第六章提出了带有输入转换的二进Pi-Sigma神经网络(BPSNN),并证明了这种网络可以实现任意的布尔函数.该网络在计算布尔函数时,对应着主合取范式.网络权值都是{-1,1}这样二值的,而且网络的训练不需要多步迭代的过程,权值是直接求解得到的.随后还给出了此网络的规则读取算法.
【学位授予单位】:大连理工大学
【学位级别】:博士
【学位授予年份】:2008
【分类号】:TP183

【引证文献】
中国博士学位论文全文数据库 前1条
1 王磊;造波机网络运动控制系统建模及控制技术研究[D];大连理工大学;2012年
中国硕士学位论文全文数据库 前4条
1 征进;高阶神经网络结构优化与改进[D];大连理工大学;2010年
2 付涛;基于高阶神经网络的文字识别算法研究[D];东北师范大学;2010年
3 董士英;基于DSP的CO_2焊接电源智能控制系统研究[D];河南科技大学;2012年
4 王维;连续搅拌反应釜(CSTR)控制方法研究[D];北京交通大学;2013年
【共引文献】
中国期刊全文数据库 前10条
1 徐志钮,律方成,刘云鹏,李燕青;结合N-W方法的L-M算法在变压器故障诊断中的应用[J];华北电力大学学报;2005年04期
2 师智斌,陈立潮,靳雁霞;基于神经网络的股票交易数据的预测研究[J];华北工学院学报;2003年06期
3 蒯圣龙;李云辉;;基于遗传神经网络的环境质量评价系统[J];华北科技学院学报;2006年01期
4 马妹英;神经网络对贮灰坝的稳定预测[J];水科学与工程技术;2005年03期
5 刘雪梅,皇甫中民,张树生;利用神经网络实现地形面的曲面构造[J];华北水利水电学院学报;2005年01期
6 邱道尹;张文静;顾波;刘新宇;;帧差法在运动目标实时跟踪中的应用[J];华北水利水电学院学报;2009年03期
7 俞青芬;;人工神经网络预测多氯代二苯并-对-二恶英的正辛醇/水分配系数[J];河北师范大学学报(自然科学版);2010年01期
8 王彬;杨海波;吴友平;;人工神经网络在橡胶工业中的应用进展[J];合成橡胶工业;2012年01期
9 汪慧春;赵曙辉;罗旭东;马访中;李文刚;;应用人工神经网络模拟腈纶五效减压蒸发系统[J];合成纤维工业;2006年02期
10 罗春潮,郁飞;遗传算法与正交试验在一类系统辨识问题中的研究[J];华东船舶工业学院学报(自然科学版);2002年05期
中国重要会议论文全文数据库 前10条
1 严传魁;王如彬;;基于汉密尔顿原理的神经元模型[A];第十三届全国非线性振动暨第十届全国非线性动力学和运动稳定性学术会议摘要集[C];2011年
2 ;Synthesis of Boolean Networks Via Semi-tensor Product[A];中国自动化学会控制理论专业委员会A卷[C];2011年
3 段书凯;刘光远;;网络参数对混沌联想记忆特性的影响[A];第十一届全国信号处理学术年会(CCSP-2003)论文集[C];2003年
4 ;Joint inversion of seismic data for acoustic impedance[A];中国科学院地质与地球物理研究所二○○四学术论文汇编·第一卷(地球深部)[C];2004年
5 李勤丰;;最大独立集在高校排课表系统中的应用[A];广西计算机学会2006年年会论文集[C];2006年
6 谢进;阎开印;陈永;;应用于平面机构综合中的神经网络技术[A];第十三届全国机构学学术研讨会论文集[C];2002年
7 刘永;张立毅;;基于遗传神经网络盲均衡算法的研究[A];2006中国西部青年通信学术会议论文集[C];2006年
8 杨智;杜海树;邱熔胜;;时变大时滞最优预报神经智能PID控制算法[A];1999中国控制与决策学术年会论文集[C];1999年
9 吴涛;许晓鸣;刘登瀛;张浙;;基于改进BP算法的人工神经网络建模及其在干燥过程中的应用[A];1998年中国控制会议论文集[C];1998年
10 徐建闽;林培群;;基于信息熵及多分支BP网络的自适应车型分类研究[A];第二十四届中国控制会议论文集(下册)[C];2005年
中国博士学位论文全文数据库 前10条
1 孙明;基于小波和迟滞的混沌神经网络及其应用[D];哈尔滨工程大学;2010年
2 李桃迎;交通领域中的聚类分析方法研究[D];大连海事大学;2010年
3 苏晓宏;海杂波的特性分析与目标检测处理[D];大连海事大学;2010年
4 郑大腾;柔性坐标测量机空间误差模型及最佳测量区研究[D];合肥工业大学;2010年
5 朱松;随机回归神经网络的动力学行为研究[D];华中科技大学;2010年
6 杨红;污水生化处理的智能建模与优化控制策略应用研究[D];华南理工大学;2010年
7 柴园园;普适的模糊推理系统理论及应用[D];北京交通大学;2011年
8 许伟;基于进化算法的复杂化工过程智能建模方法及其应用[D];华东理工大学;2011年
9 李曼荔;求解组合优化问题的神经计算方法[D];电子科技大学;2010年
10 陈国庆;荧光光谱技术在食品安全监控中的应用研究[D];江南大学;2010年
中国硕士学位论文全文数据库 前10条
1 何慧娟;基于多传感器的移动机器人障碍物检测与定位研究[D];安徽工程大学;2010年
2 李连昌;新安煤田二_1煤层煤与瓦斯突出危险程度预测[D];河南理工大学;2010年
3 罗婷婷;飞机钣金叠板数控套裁下料软件系统的研究[D];南昌航空大学;2010年
4 滕景忠;智能瓦斯传感器的研制[D];山东科技大学;2010年
5 徐小任;基于BP神经网络的城镇网络地价评估模型研究[D];广西师范学院;2010年
6 程慧;基于神经网络的两类问题研究[D];广西师范学院;2010年
7 吴家瑞;服装产品加工成本快速估算方法研究[D];浙江理工大学;2010年
8 王捷;数字图像边缘检测方法的若干改进与应用研究[D];浙江理工大学;2010年
9 雷明杰;神经网络和遗传算法在中厚板轧机中的应用研究[D];郑州大学;2010年
10 张华杰;模糊神经网络在肺癌诊断中的应用[D];郑州大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 周黎辉;王天堃;徐大平;;网络控制系统调度与控制综合设计研究综述[J];华北电力大学学报(自然科学版);2008年01期
2 贾爱民,蒋静坪;连续搅拌反应釜的鲁棒控制[J];合成橡胶工业;1992年04期
3 白建波;张小松;刘庆君;;模糊自适应PI控制在空调系统中的研究[J];化工学报;2010年S2期
4 董玲;王继华;白焰;;有丢包的网络控制系统建模与指数稳定性分析[J];化工自动化及仪表;2009年04期
5 王雅生,张庆,蔡洪能;CO_2半短路过渡焊电弧电压自寻优智能控制[J];焊接学报;2001年05期
6 胡绳荪,李顺华,孙栋,单平;CO_2焊接超声传感焊缝跟踪控制规则与参数[J];焊接学报;2003年02期
7 王禹华;桂赤斌;王征;;基于复合控制数字化弧焊逆变电源的仿真分析[J];焊接学报;2007年01期
8 沙德尚;廖晓钟;单立军;鲍云杰;;CO_2气体保护焊的新型全数字化波形控制技术[J];焊接学报;2009年12期
9 薛家祥,张军红,毛鹏军,罗卫红;CO_2电弧焊电流波形模糊逻辑控制[J];华南理工大学学报(自然科学版);2002年07期
10 朱学峰;CSTR的非线性预测控制[J];华南理工大学学报(自然科学版);1995年06期
中国博士学位论文全文数据库 前10条
1 樊卫华;网络控制系统的建模与控制[D];南京理工大学;2004年
2 索格罗;网络传输对控制系统性能的影响分析与控制策略研究[D];清华大学;2005年
3 马新军;不确定时滞系统鲁棒稳定性及鲁棒控制研究[D];华南理工大学;2005年
4 吕建成;神经网络中的若干问题研究[D];电子科技大学;2006年
5 王帅宇;闭环网络伺服控制技术研究[D];北京理工大学;2006年
6 何飞跃;网络化控制系统在电力系统中的应用研究[D];华中科技大学;2006年
7 胡晓娅;基于交换式以太网的网络控制系统研究[D];华中科技大学;2006年
8 熊焱;Pi-Sigma神经网络的几种梯度学习算法[D];大连理工大学;2007年
9 严怀成;网络控制系统的分析与综合[D];华中科技大学;2007年
10 吴桂坤;延迟反馈神经网络和两层反馈神经网络的研究[D];厦门大学;2008年
中国硕士学位论文全文数据库 前10条
1 张可平;CO_2焊逆变电源的自适应模糊控制系统研究[D];南昌航空大学;2010年
2 李长鹏;基于CSTR温度系统的模糊神经网络预测控制研究[D];哈尔滨工程大学;2009年
3 张杰;永磁同步电机伺服系统矢量控制的研究[D];哈尔滨工程大学;2010年
4 沈围;低速大转矩永磁同步电机控制系统研究[D];北京交通大学;2011年
5 柏春阳;基于自适应模糊PID的氯乙烯聚合釜温度控制研究[D];哈尔滨工业大学;2010年
6 缪礼锋;永磁同步伺服系统的设计与实现[D];中国科学技术大学;2011年
7 龚丽;熔化极气体保护弧焊逆变电源的智能控制研究[D];重庆大学;2004年
8 丁慧东;脱机手写体汉字识别研究[D];东北师范大学;2005年
9 孟丽;连续搅拌反应釜鲁棒控制策略的研究[D];郑州大学;2005年
10 林和明;基于DSP波控CO_2弧焊电源控制系统的研究[D];华中科技大学;2005年
【二级引证文献】
中国硕士学位论文全文数据库 前1条
1 王魁;EtherCAT网络化数据采集系统的构建与研究[D];大连理工大学;2013年
【相似文献】
中国期刊全文数据库 前10条
1 朱文莉;一类具有时滞的神经网络的稳定性分析[J];电子科技大学学报;2000年05期
2 廖晓昕,傅予力,高健,赵新泉;具有反应扩散的Hopfield神经网络的稳定性[J];电子学报;2000年01期
3 张菊亮,章祥荪;一个新的解线性规划的神经网络(英文)[J];运筹学学报;2001年02期
4 罗公亮;从神经网络到支撑矢量机(上)[J];冶金自动化;2001年05期
5 蒋德云,张弓;谷物识别中对神经网络的优化(英文)[J];农业工程学报;2002年05期
6 王芳荣,周德义,郑咏梅,王鼎,张铁强;生物表面光谱特性识别的神经网络方法[J];吉林大学学报(信息科学版);2002年03期
7 宋光雄,何胜锋,曹辉,张峥,钟群鹏;基于Hopfield神经网络的腐蚀失效模式识别[J];金属热处理学报;2003年01期
8 王学武,谭得健;神经网络的应用与发展趋势[J];计算机工程与应用;2003年03期
9 陈有伟,李为民;基于混合训练神经网络的武器系统效能评估[J];计算机工程与应用;2003年08期
10 刘斌,刘新芝,廖晓昕;脉冲Hopfield神经网络的鲁棒H-稳定性及其脉冲控制器设计(英文)[J];控制理论与应用;2003年02期
中国重要会议论文全文数据库 前10条
1 王雷;陈宗海;;神经网络在过程系统建模中的应用综述[A];'2002系统仿真技术及其应用学术论文集(第四卷)[C];2002年
2 周宗潭;胡德文;;自组织的神经网络方法和群落生长模型研究[A];1995年中国智能自动化学术会议暨智能自动化专业委员会成立大会论文集(上册)[C];1995年
3 侯媛彬;易继锴;杨玉珍;陈双叶;韩崇昭;;一种能消除混沌现象的神经网络[A];1996年中国智能自动化学术会议论文集(上册)[C];1996年
4 江铭炎;江铭虎;;一种神经网络特征压缩及分类的研究[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
5 陈文新;王长富;戴蓓倩;;基于神经网络的汉语四声识别[A];第一届全国语言识别学术报告与展示会论文集[C];1990年
6 刘丰;姜建新;程俊;易克初;;一种用于语音识别的神经网络[A];第二届全国人机语音通讯学术会议论文集[C];1992年
7 梁循;;神经网络中训练样本空间的分割特性及其应用[A];1995中国控制与决策学术年会论文集[C];1995年
8 黄小原;肖四汉;樊治平;;神经网络预警系统及其应用[A];1995中国控制与决策学术年会论文集[C];1995年
9 李艳;邵日祥;方建安;邵世煌;;神经网络在功率电子及拖动控制中的应用[A];1996中国控制与决策学术年会论文集[C];1996年
10 高文忠;顾树生;平力;;静态神经网络新算法及其收敛性初探[A];1994年中国控制会议论文集[C];1994年
中国重要报纸全文数据库 前10条
1 美国明尼苏达大学社会学博士 密西西比州立大学国家战略规划与分析研究中心资深助理研究员 陈心想;维护好创新的“神经网络硬件”[N];中国教师报;2014年
2 卢业忠;脑控电脑 惊世骇俗[N];计算机世界;2001年
3 葛一鸣 路边文;人工神经网络将大显身手[N];中国纺织报;2003年
4 中国科技大学计算机系 邢方亮;神经网络挑战人类大脑[N];计算机世界;2003年
5 记者 孙刚;“神经网络”:打开复杂工艺“黑箱”[N];解放日报;2007年
6 本报记者 刘霞;美用DNA制造出首个人造神经网络[N];科技日报;2011年
7 健康时报特约记者  张献怀;干细胞移植:修复受损的神经网络[N];健康时报;2006年
8 刘力;我半导体神经网络技术及应用研究达国际先进水平[N];中国电子报;2001年
9 ;神经网络和模糊逻辑[N];世界金属导报;2002年
10 邹丽梅 陈耀群;江苏科大神经网络应用研究通过鉴定[N];中国船舶报;2006年
中国博士学位论文全文数据库 前10条
1 曾喆昭;神经网络优化方法及其在信息处理中的应用研究[D];湖南大学;2008年
2 陈先来;基于干细胞机制的进化神经网络及其应用研究[D];中南大学;2010年
3 楼旭阳;复杂神经网络动力学机制及其应用研究[D];江南大学;2009年
4 汪木兰;神经网络硬化实现的共性技术在电力传动中应用研究[D];合肥工业大学;2010年
5 冯伟;时滞随机神经网络的稳定性研究[D];重庆大学;2009年
6 裴浩东;基于神经网络的稳态优化和控制研究[D];浙江大学;2001年
7 陆婷;进化回归神经网络的研究及应用[D];华南理工大学;2003年
8 吕建成;神经网络中的若干问题研究[D];电子科技大学;2006年
9 张超;高阶神经网络的梯度训练算法收敛性分析[D];大连理工大学;2008年
10 陈薇娜;一类离散神经网络系统的分支研究[D];复旦大学;2009年
中国硕士学位论文全文数据库 前10条
1 沈花玉;神经网络在医学诊断中的应用研究[D];天津理工大学;2007年
2 曹影鹏;时滞神经网络及其离散化模型的稳定性分析[D];江南大学;2008年
3 邹宇;基于Hopfield神经网络和高精度算法的谐波电流检测方法研究[D];天津大学;2007年
4 苏卫卫;时变时滞神经网络的稳定性分析[D];燕山大学;2008年
5 钟义长;基于神经网络的电力电子装置故障检测与诊断[D];湖南科技大学;2007年
6 唐荣江;基于神经网络的汽车振动乘坐舒适性评价方法研究[D];吉林大学;2009年
7 李小燕;灰色神经网络预测模型的优化研究[D];武汉理工大学;2009年
8 郭军平;高阶双并联神经网络批处理梯度算法收敛性[D];大连理工大学;2009年
9 陈郁;遗传神经网络在模拟电路故障诊断中的应用[D];长春理工大学;2009年
10 文辉;基于神经网络的中药片剂包衣建模研究[D];南昌航空大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026