收藏本站
《大连理工大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

高阶双并联神经网络批处理梯度算法收敛性

郭军平  
【摘要】: BP神经网络是目前应用最为广泛的前馈神经网络之一,具有很多优点,但传统的BP网络只有求和神经元,在处理复杂的非线性问题时效率很低。为了解决这一问题,人们引进了求积神经元等高阶神经元,用以增加网络的非线性映射能力。这些以高阶神经元构建的网络统称为高阶前馈神经网络。另外,工程上有一类带有线性部分的非线性问题,简单的感知器不能解决这类问题,且常见的前馈神经网络来解决这类问题的效果也不是很好。为此,学者们提出了一类双并联神经前馈网络(Double Parallel FeedforwardNeural Networks,简称DPFNN)。基于这两种网络的网络结构和特点,本文提出了一种高阶双并联神经网络(High Order Double Parallel Neural Networks,简称HODPNN),用来解决这类带有线性部分的复杂非线性问题。试验表明,该网络在处理这类问题时,与Pi-Sigma高阶前馈神经网络和双并联前馈神经网络相比,具有明显的优势。 梯度算法是一种简单的优化算法,经常被用于神经网络训练中。梯度法有两种不同的运行方式,分别是在线运行方式和批处理运行方式。本文主要研究用批处理梯度算法训练高阶双并联神经网络的收敛性。 本论文的结构及内容如下:第一章回顾了神经网络相关的一些背景知识。第二章介绍了高阶双并联神经网络,并给出了其批处理梯度算法的弱收敛性、强收敛性证明。第三章给出了两个关于函数逼近的数值试验,并对网络的学习效果进行了讨论。
【学位授予单位】:大连理工大学
【学位级别】:硕士
【学位授予年份】:2009
【分类号】:TP183

【引证文献】
中国硕士学位论文全文数据库 前2条
1 马岩尉;基于前馈神经网络的电子鼻模式识别方法[D];大连理工大学;2010年
2 付涛;基于高阶神经网络的文字识别算法研究[D];东北师范大学;2010年
【参考文献】
中国期刊全文数据库 前10条
1 刘卫芳,欧阳楷;高阶神经网络用于心电信号的识别[J];北京生物医学工程;1997年02期
2 吴微,陈维强,刘波;用BP神经网络预测股票市场涨跌[J];大连理工大学学报;2001年01期
3 郭力宾,吴微;二维图像中交叉点的神经网络识别[J];大连理工大学学报;2003年05期
4 陈天平,吴晓伟;Sigma-pi神经网络激发函数特征(英文)[J];复旦学报(自然科学版);1997年06期
5 何新贵,梁久祯;过程神经元网络的若干理论问题[J];中国工程科学;2000年12期
6 何新贵,梁久祯,许少华;过程神经网络的训练及其应用[J];中国工程科学;2001年04期
7 罗跃虎,沈世镒;关于Sigma-Pi神经网络中的逼近问题[J];高校应用数学学报A辑(中文版);2000年01期
8 何明一;双并联前向神经网络及其在飞行故障检测仿真研究中的应用[J];航空学报;1994年07期
9 孔俊,吴微,赵卫海;识别数学符号的神经网络方法[J];吉林大学自然科学学报;2001年03期
10 吴一全,朱兆达;图像处理中阈值选取方法30年(1962—1992)的进展(二)[J];数据采集与处理;1993年04期
【共引文献】
中国期刊全文数据库 前10条
1 邓勤;若干个不同部件并联可修系统可用度的研究[J];阿坝师范高等专科学校学报;2005年03期
2 郑浩,王全凤;L-M算法在高层结构体系选型中的应用[J];四川建筑科学研究;2003年03期
3 谢勇谋,谭光杰,胥良;利用人工神经网络由静力触探推算液化指数[J];四川建筑科学研究;2004年02期
4 崔旖娜;王苏岩;李宏男;;基于BP神经网络时间序列方法的辽宁省建筑业经济技术指标预测[J];四川建筑科学研究;2008年02期
5 丁声荣;霍艳华;姜新佩;;混凝土强度预测的混合神经网络模型[J];四川建筑科学研究;2010年06期
6 陈征;;一类系统的二次李雅普诺夫函数存在性的判断[J];安徽电子信息职业技术学院学报;2006年04期
7 梁学斌;;离散Hopfield神经网络的统一描述[J];安徽大学学报(自然科学版);1993年02期
8 朱明星,张德龙;RBF网络基函数中心选取算法的研究[J];安徽大学学报(自然科学版);2000年01期
9 孙莉宁,张之源,罗定贵;基于MATLAB实现的ANN方法在巢湖水质评价中的应用[J];安徽大学学报(自然科学版);2005年02期
10 孙小军;焦建民;何俊红;;解优化问题的遗传加速信赖域搜索算法[J];安徽大学学报(自然科学版);2008年03期
中国重要会议论文全文数据库 前10条
1 严传魁;王如彬;;基于汉密尔顿原理的神经元模型[A];第十三届全国非线性振动暨第十届全国非线性动力学和运动稳定性学术会议摘要集[C];2011年
2 冯羽;马凤山;魏爱华;赵海军;郭捷;;灰色系统与神经网络组合模型在地下水水位预测中的应用[A];中国科学院地质与地球物理研究所第11届(2011年度)学术年会论文集(中)[C];2012年
3 刘钰;韩峰;董楠;陆希成;雷鸣;;爆炸容器安全概率的统计分析方法[A];全国危险物质与安全应急技术研讨会论文集(下)[C];2011年
4 刘士荣;何文波;;基于强跟踪粒子滤波器的非线性系统故障诊断[A];第二十六届中国控制会议论文集[C];2007年
5 贾允毅;胥布工;王世华;刘步春;;端对端网络时钟漂移补偿算法研究及其实现[A];第二十六届中国控制会议论文集[C];2007年
6 胡文金;周东华;;基于输入等价干扰的DC-DC变换器自适应控制[A];第二十七届中国控制会议论文集[C];2008年
7 谭琳;文成林;;一种基于多模式的故障检测方法[A];第二十七届中国控制会议论文集[C];2008年
8 李琨;王晓东;刘会景;张云生;苗琦;;瓦斯“冒大数”及其神经网络滤波器的研究[A];第二十七届中国控制会议论文集[C];2008年
9 姚智颖;刘冬;;基于Kazakov线性化的迭代滤波[A];第二十九届中国控制会议论文集[C];2010年
10 苏震;连晓峰;刘载文;王小艺;;基于过程神经网络的污水处理软测量模型及算法研究[A];第二十九届中国控制会议论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 夏全喜;车载组合导航系统关键技术研究[D];哈尔滨工程大学;2010年
2 李高云;大型船舶航向/航迹智能容错控制研究[D];哈尔滨工程大学;2010年
3 王小旭;非线性SPKF滤波算法研究及其在组合导航中的应用[D];哈尔滨工程大学;2010年
4 孙明;基于小波和迟滞的混沌神经网络及其应用[D];哈尔滨工程大学;2010年
5 谭佳琳;粒子群优化算法研究及其在海底地形辅助导航中的应用[D];哈尔滨工程大学;2010年
6 陈得宇;基于MAS的智能电压控制系统研究[D];哈尔滨工程大学;2010年
7 李桃迎;交通领域中的聚类分析方法研究[D];大连海事大学;2010年
8 苏晓宏;海杂波的特性分析与目标检测处理[D];大连海事大学;2010年
9 刘冬雁;川西高原甘孜黄土记录的早更新世晚期以来的古气候变化[D];中国海洋大学;2009年
10 王敏;分布式电源的概率建模及其对电力系统的影响[D];合肥工业大学;2010年
中国硕士学位论文全文数据库 前10条
1 何慧娟;基于多传感器的移动机器人障碍物检测与定位研究[D];安徽工程大学;2010年
2 张小亮;非线性规划的信赖域算法[D];河南理工大学;2010年
3 李连昌;新安煤田二_1煤层煤与瓦斯突出危险程度预测[D];河南理工大学;2010年
4 代宏伟;布里渊散射水下探测目标的自动识别[D];南昌航空大学;2010年
5 罗婷婷;飞机钣金叠板数控套裁下料软件系统的研究[D];南昌航空大学;2010年
6 蒲锰;非侵入式矿井提升机PLC电控系统实时故障诊断方法的研究[D];山东科技大学;2010年
7 王永;消防单兵综合信息采集系统研究[D];山东科技大学;2010年
8 徐芳芳;优化问题的PVD算法研究[D];山东科技大学;2010年
9 邢著荣;基于辐射传输模型和CHRIS数据反演春小麦LAI[D];山东科技大学;2010年
10 滕景忠;智能瓦斯传感器的研制[D];山东科技大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 杨华民,姜会林,龚跃,刘炯,李平;基于神经网络的多种文字识别系统的集成方法[J];兵工学报;1998年04期
2 刘卫芳,欧阳楷;高阶神经网络用于心电信号的识别[J];北京生物医学工程;1997年02期
3 刘亭利;胡国清;;电子鼻的应用综述[J];传感器世界;2007年08期
4 谭阳红,何怡刚,陈洪云,吴杰;大规模电路故障诊断神经网络方法[J];电路与系统学报;2001年04期
5 王昌龙,高龙琴,黄惟一;基于电子鼻技术的化学热处理气氛测控[J];东南大学学报(自然科学版);2003年04期
6 丁晓青;汉字识别研究的回顾[J];电子学报;2002年09期
7 陈新,吴宏胜;神经网络文字识别系统的研制[J];福州大学学报(自然科学版);1996年01期
8 何明一;双并联前向神经网络及其在飞行故障检测仿真研究中的应用[J];航空学报;1994年07期
9 胡华平,戴葵,金士尧,王清元;神经网络在容错系统可靠性分析中的应用[J];计算机工程与科学;2000年03期
10 苗琦龙;栾新;;基于遗传算法和BP网络的文字识别方法[J];计算机应用;2005年S1期
中国博士学位论文全文数据库 前2条
1 熊焱;Pi-Sigma神经网络的几种梯度学习算法[D];大连理工大学;2007年
2 张超;高阶神经网络的梯度训练算法收敛性分析[D];大连理工大学;2008年
中国硕士学位论文全文数据库 前8条
1 张玉林;神经网络在股市预测中的建模及应用[D];大连理工大学;2004年
2 丁慧东;脱机手写体汉字识别研究[D];东北师范大学;2005年
3 梁涌;印刷体汉字识别系统的研究与实现[D];西北工业大学;2006年
4 刘瑜;基于电子鼻的气体等级鉴别[D];重庆大学;2006年
5 伏守宇;高阶递归神经网络在机械手控制中的应用[D];哈尔滨工业大学;2006年
6 王之仓;多层感知器学习算法研究[D];苏州大学;2006年
7 王宏;印刷体汉字识别预处理的研究[D];大连理工大学;2008年
8 邹志强;感知器训练算法及其在人脸检测中应用的研究[D];重庆大学;2008年
【二级参考文献】
中国期刊全文数据库 前10条
1 刘卫芳,欧阳楷;高阶神经网络用于心电信号的识别[J];北京生物医学工程;1997年02期
2 吴微,陈维强,刘波;用BP神经网络预测股票市场涨跌[J];大连理工大学学报;2001年01期
3 吴微,陈维强;用于股市预测的BP算法的一些改进[J];大连理工大学学报;2001年05期
4 刘健庄;基于二维直方图的图象模糊聚类分割方法[J];电子学报;1992年09期
5 叶东毅;前馈神经网络隐层结点设计的一个学习算法[J];电子学报;1997年11期
6 何新贵,梁久祯;过程神经元网络的若干理论问题[J];中国工程科学;2000年12期
7 葛益,张家军,贺安之;高阶局域互联神经网络的关联存储[J];光学学报;1996年11期
8 陈天平;神经网络及其在系统识别应用中的逼近问题[J];中国科学(A辑 数学 物理学 天文学 技术科学);1994年01期
9 张健,陈勇,夏罡,何永保;人工神经网络之股票预测[J];计算机工程;1997年02期
10 刘晓鸿,戴汝为;线性阈值单元神经元网络的图灵等价性[J];计算机学报;1995年06期
【相似文献】
中国期刊全文数据库 前10条
1 kelly MF;邰常峰;;神经网络在肌电信号分析中的应用[J];国际生物医学工程杂志;1991年06期
2 汤新梁;;自由手写体数字识别的神经网方法[J];东南大学学报(自然科学版);1991年03期
3 曾黄麟;;一类新的模式识别联想神经网络[J];电讯技术;1992年01期
4 ;简讯[J];西安电子科技大学学报;1992年01期
5 卢科学;郭美义;;平移不变模式变换与神经网络[J];西安电子科技大学学报;1992年03期
6 吴新余;;简析Lyapunov函数40例[J];南京邮电大学学报(自然科学版);1992年04期
7 王继成,吕维雪;基于神经网络的逻辑计算[J];计算机工程与设计;1993年02期
8 高丽娜;邱关源;;神经网络高精度权值的模拟电路实现[J];电子与信息学报;1993年05期
9 陈在;;神经网络:一种全新的多媒体技术[J];重庆邮电学院学报(自然科学版);1993年01期
10 丁德恒;吕维雪;;基于神经网络的关系模式匹配方法[J];计算机科学;1993年01期
中国重要会议论文全文数据库 前10条
1 侯艳芳;冯红梅;;基于神经网络的调制识别算法的研究[A];武汉(南方九省)电工理论学会第22届学术年会、河南省电工技术学会年会论文集[C];2010年
2 沈建荣;杨林泉;陈琳;;神经网络的稳定性判据与区域经济结构调整[A];系统工程与可持续发展战略——中国系统工程学会第十届年会论文集[C];1998年
3 石山铭;李富兰;丁俊丽;;神经网络的知识获取[A];全国青年管理科学与系统科学论文集(第1卷)[C];1991年
4 吴清烈;徐南荣;;基于神经网络的一种多目标决策方法[A];复杂巨系统理论·方法·应用——中国系统工程学会第八届学术年会论文集[C];1994年
5 李晓钟;汪培庄;罗承忠;;神经网络与模糊逻辑[A];中国系统工程学会模糊数学与模糊系统委员会第五届年会论文选集[C];1990年
6 房育栋;余英林;;高阶自组织映射及其学习算法[A];1995年中国控制会议论文集(上)[C];1995年
7 王晓晔;杜朝辉;吕德忠;刘建峰;;神经网络模糊控制在温度控制系统中的应用[A];1997中国控制与决策学术年会论文集[C];1997年
8 金龙;吴建生;;基于遗传算法的神经网络短期气候预测模型(摘要)[A];新世纪气象科技创新与大气科学发展——中国气象学会2003年年会“气候系统与气候变化”分会论文集[C];2003年
9 申伟;张元培;;基于MATLAB的自适应神经网络模糊系统(ANFIS)的应用[A];《制造业自动化与网络化制造》学术交流会论文集[C];2004年
10 田艳兵;;BP算法和PSO算法在神经网络中的研究[A];第二十九届中国控制会议论文集[C];2010年
中国重要报纸全文数据库 前10条
1 于翔;数字神经网络中的协同应用[N];网络世界;2009年
2 健康时报特约记者  张献怀;干细胞移植:修复受损的神经网络[N];健康时报;2006年
3 邹丽梅 陈耀群;江苏科大神经网络应用研究通过鉴定[N];中国船舶报;2006年
4 记者 孙刚;“神经网络”:打开复杂工艺“黑箱”[N];解放日报;2007年
5 本报首席记者 任荃 实习生 史博臻;轨交“神经网络”触动创新神经[N];文汇报;2011年
6 计算机世界实验室 韩勖;当布线系统遭遇神经网络[N];计算机世界;2009年
7 曹建兵 李祖兵 特约记者 何天进 本报记者 于莘明;给导弹植入“神经网络”[N];科技日报;2005年
8 谭薇;“潮湿计算机”:拥有人类智慧的超级大脑[N];第一财经日报;2010年
9 韩婷婷;ICT强壮奥运“神经网络”[N];通信产业报;2007年
10 ;人老了,大脑仍能形成新的神经网络[N];新华每日电讯;2004年
中国博士学位论文全文数据库 前10条
1 马永涛;通信信道建模的神经网络优化技术研究[D];天津大学;2009年
2 周伟;关于多稳定回复式神经网络中的一些问题[D];电子科技大学;2010年
3 汪木兰;神经网络硬化实现的共性技术在电力传动中应用研究[D];合肥工业大学;2010年
4 徐芳;多稳定神经网络的动力学分析[D];电子科技大学;2011年
5 杨文宇;利用状态函数导数的脉冲神经网络新算法[D];大连理工大学;2013年
6 张海仙;回复式神经网络的连续吸引子[D];电子科技大学;2010年
7 尹丽子;基于动态模型的神经网络稳定性研究[D];山东师范大学;2011年
8 董岩;基于神经网络的机载三轴稳定平台控制系统算法应用研究[D];中国科学院研究生院(长春光学精密机械与物理研究所);2011年
9 Atlas Khan;神经网络的优化与用于优化的神经网络[D];大连理工大学;2013年
10 董滔;时滞神经网络的动力学行为分析[D];重庆大学;2013年
中国硕士学位论文全文数据库 前10条
1 杨立儒;基于神经网络的电路故障诊断的研究与实现[D];解放军信息工程大学;2010年
2 刘兰兰;基于神经网络和遗传算法的H型钢粗轧工艺参数优化研究[D];山东大学;2011年
3 田鹏明;基于神经网络的振动主动控制研究[D];太原理工大学;2012年
4 姜宇;发动机裂解设备故障诊断技术的研究[D];吉林大学;2012年
5 邢远凯;基于决策树和遗传算法的神经网络研究及应用[D];浙江大学;2010年
6 高宝建;基于神经网络的月降水预报模型在洪泽湖的应用研究[D];南京信息工程大学;2012年
7 陈少华;基于Hopfield神经网络控制系统的研究[D];山东科技大学;2010年
8 来建波;基于神经网络的路段行程时间预测研究[D];云南大学;2011年
9 闫超;基于BP神经网络的煤矿深埋硐室软岩流变参数反演分析[D];安徽理工大学;2011年
10 段成均;时滞神经网络稳定性分析[D];重庆交通大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026