收藏本站
《哈尔滨工程大学》 2007年
收藏 | 手机打开
二维码
手机客户端打开本文

基于相对熵函数准则的BP算法收敛性分析

廉春波  
【摘要】: 前馈神经网络是目前神经网络理论中发展最完善、应用最为广泛的网络,其结构简单、可操作性强,能模拟任意的非线性输入输出关系。在实际应用中,大部分前馈网络采用误差反向传播算法(BP算法),它的特点是解决了隐层引入以后的学习问题。误差反传算法实质上是非线性优化问题的梯度算法,故与生俱来就存在诸多缺陷,这些缺陷直接影响网络的性能。目前的研究重点主要集中在网络结构、网络权值学习算法、误差函数、以及相关的收敛性和稳定性等方面。 为了提高网络收敛速度,许多学者对误差函数的构造与应用进行了深入研究。N.B.Karayiannis提出了熵误差函数,以解决传统误差函数训练过程中存在的假饱和状态;S-H.Oh对熵误差函数进行修正,避免了N.B.Karayiannis提出的熵误差函数给出的误差信号过于强烈,常导致过学习的现象;MinghuJiang等再次肯定了熵误差函数在提高前馈神经网络学习算法收敛速度方面的作用,并对其进行了修正,然而形式过于复杂,不利于推广使用。 本文主要对基于相对熵函数准则的BP算法收敛性进行了讨论,并对学习率稍加改动以减小网络振荡的可能性。在满足文中假设条件情况下,对于典型的全连接的前馈型神经网络,利用基于相对熵函数准则的BP算法得到误差序列和权值序列;然后,利用引理得到了误差序列的单调性和收敛结果;最后得到了权值序列的弱收敛和强收敛结果,即基于相对熵函数准则的BP网络的弱收敛结果和强收敛结果。
【学位授予单位】:哈尔滨工程大学
【学位级别】:硕士
【学位授予年份】:2007
【分类号】:TP183

【引证文献】
中国期刊全文数据库 前2条
1 李涛;;基于多层感知器的某矿职工呼吸系统的识别预测[J];九江学院学报(自然科学版);2012年02期
2 吴庆波;刘德胜;;基于改进的神经网络油田配电网谐波预测研究[J];自动化技术与应用;2013年05期
【参考文献】
中国期刊全文数据库 前7条
1 吴微,陈维强,刘波;用BP神经网络预测股票市场涨跌[J];大连理工大学学报;2001年01期
2 廖晓昕;细胞神经网络的数学理论(Ⅰ)[J];中国科学(A辑 数学 物理学 天文学 技术科学);1994年09期
3 廖晓昕;细胞神经网络的数学理论(Ⅱ)[J];中国科学(A辑 数学 物理学 天文学 技术科学);1994年10期
4 赵亚丽,西广成,易建强;基于相对熵函数准则的BP算法[J];计算机工程;2005年19期
5 高小榕,杨福生;采用同伦BP算法进行多层前向网络的训练[J];计算机学报;1996年09期
6 阎平凡;黄建中;;一种推广形式的自适应算法[J];自动化学报;1988年02期
7 阎平凡;推广形式的自适应算法:理论分析及应用[J];清华大学学报(自然科学版);1989年04期
【共引文献】
中国期刊全文数据库 前10条
1 崔旖娜;王苏岩;李宏男;;基于BP神经网络时间序列方法的辽宁省建筑业经济技术指标预测[J];四川建筑科学研究;2008年02期
2 陈征;;一类系统的二次李雅普诺夫函数存在性的判断[J];安徽电子信息职业技术学院学报;2006年04期
3 梁学斌;;离散Hopfield神经网络的统一描述[J];安徽大学学报(自然科学版);1993年02期
4 孙小军;焦建民;何俊红;;解优化问题的遗传加速信赖域搜索算法[J];安徽大学学报(自然科学版);2008年03期
5 张家昕;段复建;;一种结合NCP函数的SQP滤子新算法[J];安徽大学学报(自然科学版);2010年05期
6 张艳;张海军;;基于DSP的多通道超声波连续测厚系统的研究[J];安徽工程科技学院学报(自然科学版);2008年03期
7 高洪;孟舒;查为民;李玲纯;张海涛;;6-3-3并联机构物理样机结构优化[J];安徽工程大学学报;2011年03期
8 史秀琴;;基于RBF神经网络的建设项目的投资风险评价模型[J];安徽建筑;2010年03期
9 符保龙;;RBF网络在农业病虫害预测中的应用研究[J];安徽农业科学;2008年01期
10 李磊;孙卉;翟秋敏;郭志永;;RBF神经网络在平顶山市地表水评价中的应用[J];安徽农业科学;2008年26期
中国重要会议论文全文数据库 前10条
1 严传魁;王如彬;;基于汉密尔顿原理的神经元模型[A];第十三届全国非线性振动暨第十届全国非线性动力学和运动稳定性学术会议摘要集[C];2011年
2 王国庆;李国福;李旭渊;;基于PSO-K均值聚类的核事故应急监测点位快速确定技术研究[A];全国危险物质与安全应急技术研讨会论文集(上)[C];2011年
3 刘钰;韩峰;董楠;陆希成;雷鸣;;爆炸容器安全概率的统计分析方法[A];全国危险物质与安全应急技术研讨会论文集(下)[C];2011年
4 贾允毅;胥布工;王世华;刘步春;;端对端网络时钟漂移补偿算法研究及其实现[A];第二十六届中国控制会议论文集[C];2007年
5 曲东才;徐庆九;;一种非线性系统ANN逆模型建模方案及EFRA训练算法仿真[A];第二十七届中国控制会议论文集[C];2008年
6 靳奉祥;丁世飞;王健;;基于熵权的主成分投影决策研究[A];第二十七届中国控制会议论文集[C];2008年
7 王亚慧;程培新;赵亚丹;张桐;;针对时滞系统的RBF神经网络滑模控制策略[A];第二十七届中国控制会议论文集[C];2008年
8 姚智颖;刘冬;;基于Kazakov线性化的迭代滤波[A];第二十九届中国控制会议论文集[C];2010年
9 田艳兵;;BP算法和PSO算法在神经网络中的研究[A];第二十九届中国控制会议论文集[C];2010年
10 王新宇;孙冠;韩冬;张婷;;基于一种改进神经网络的数据手套手势识别[A];第二十九届中国控制会议论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 孙明;基于小波和迟滞的混沌神经网络及其应用[D];哈尔滨工程大学;2010年
2 谭佳琳;粒子群优化算法研究及其在海底地形辅助导航中的应用[D];哈尔滨工程大学;2010年
3 冷欣;船用增压锅炉汽包水位预测控制方法研究[D];哈尔滨工程大学;2009年
4 殷志伟;基于统计学习理论的分类方法研究[D];哈尔滨工程大学;2009年
5 陈得宇;基于MAS的智能电压控制系统研究[D];哈尔滨工程大学;2010年
6 许爱德;开关磁阻电机在船舶电力推进中的应用研究[D];大连海事大学;2010年
7 李桃迎;交通领域中的聚类分析方法研究[D];大连海事大学;2010年
8 苏晓宏;海杂波的特性分析与目标检测处理[D];大连海事大学;2010年
9 杨宁;计算机辅助卷烟配方设计关键技术研究[D];中国海洋大学;2010年
10 刘冬雁;川西高原甘孜黄土记录的早更新世晚期以来的古气候变化[D];中国海洋大学;2009年
中国硕士学位论文全文数据库 前10条
1 刘辉;基于电子鼻的鱼粉新鲜度快速检测方法研究[D];华中农业大学;2010年
2 张小亮;非线性规划的信赖域算法[D];河南理工大学;2010年
3 李连昌;新安煤田二_1煤层煤与瓦斯突出危险程度预测[D];河南理工大学;2010年
4 李锦;基于声波的运动车辆行驶状态辨识理论研究[D];南昌航空大学;2010年
5 罗婷婷;飞机钣金叠板数控套裁下料软件系统的研究[D];南昌航空大学;2010年
6 李旭东;煤矿通防安全信息集成与控制预警系统平台研究[D];山东科技大学;2010年
7 张鸿堃;矿山企业生产成本模块化管理与应用[D];山东科技大学;2010年
8 刘棉;人机划拳系统的实现[D];山东科技大学;2010年
9 李洪琴;基于振动模态分析和BP网络的桥梁损伤识别研究[D];山东科技大学;2010年
10 徐芳芳;优化问题的PVD算法研究[D];山东科技大学;2010年
【同被引文献】
中国期刊全文数据库 前5条
1 张海英;张高洪;伍传仁;邹伟明;杨莉;;煤矿工人呼吸系统的健康状况调查[J];应用预防医学;2007年04期
2 戴庆;国内外油田配电系统无功与高次谐波补偿理论研究[J];国外油田工程;2002年03期
3 董琦;汪永宁;余初孺;;对煤矿职工体质健康状况的实证研究[J];淮南职业技术学院学报;2009年04期
4 许月恒;朱振中;;基于BP神经网络的营销绩效评价研究[J];山东理工大学学报(自然科学版);2008年02期
5 温嘉斌;李菁华;宗继东;;小波多分辨率分析在油田配电网谐波检测中的应用[J];现代电子技术;2008年03期
中国博士学位论文全文数据库 前1条
1 戴雪龙;PET探测器神经网络定位方法研究[D];中国科学技术大学;2006年
中国硕士学位论文全文数据库 前4条
1 刘伟伟;基于遗传算法的前馈神经网络优化研究[D];西北民族大学;2011年
2 陈飞;人工神经网络和决策树进行数据分类的对比研究[D];大连海事大学;2005年
3 于同洋;基于BP神经网络的营销风险评估研究[D];武汉理工大学;2006年
4 崔震华;基于神经网络的煤灰结渣特性的研究[D];华北电力大学(河北);2007年
【二级引证文献】
中国期刊全文数据库 前1条
1 张炜;付光杰;王金玉;王琦;;基于小波神经网络与滑模变结构控制的油田电网滤波器研究[J];黑龙江科学;2014年02期
【二级参考文献】
中国期刊全文数据库 前4条
1 叶东毅;前馈神经网络隐层结点设计的一个学习算法[J];电子学报;1997年11期
2 廖晓昕;;Hopfield型神经网络的稳定性[J];中国科学(A辑 数学 物理学 天文学 技术科学);1993年10期
3 廖晓昕;细胞神经网络的数学理论(Ⅰ)[J];中国科学(A辑 数学 物理学 天文学 技术科学);1994年09期
4 高小榕;杨福生;刁颐民;;多层前向网络的广义能量约束算法及其在信号处理中的应用[J];信号处理;1993年03期
【相似文献】
中国期刊全文数据库 前10条
1 李天牧,李学群;基于神经网络的自动特征抽取[J];云南大学学报(自然科学版);1991年03期
2 kelly MF;邰常峰;;神经网络在肌电信号分析中的应用[J];国际生物医学工程杂志;1991年06期
3 汤新梁;;自由手写体数字识别的神经网方法[J];东南大学学报(自然科学版);1991年03期
4 曾黄麟;;一类新的模式识别联想神经网络[J];电讯技术;1992年01期
5 ;简讯[J];西安电子科技大学学报;1992年01期
6 卢科学;郭美义;;平移不变模式变换与神经网络[J];西安电子科技大学学报;1992年03期
7 吴新余;;简析Lyapunov函数40例[J];南京邮电大学学报(自然科学版);1992年04期
8 王继成,吕维雪;基于神经网络的逻辑计算[J];计算机工程与设计;1993年02期
9 高丽娜;邱关源;;神经网络高精度权值的模拟电路实现[J];电子与信息学报;1993年05期
10 陈在;;神经网络:一种全新的多媒体技术[J];重庆邮电学院学报(自然科学版);1993年01期
中国重要会议论文全文数据库 前10条
1 侯艳芳;冯红梅;;基于神经网络的调制识别算法的研究[A];武汉(南方九省)电工理论学会第22届学术年会、河南省电工技术学会年会论文集[C];2010年
2 沈建荣;杨林泉;陈琳;;神经网络的稳定性判据与区域经济结构调整[A];系统工程与可持续发展战略——中国系统工程学会第十届年会论文集[C];1998年
3 石山铭;李富兰;丁俊丽;;神经网络的知识获取[A];全国青年管理科学与系统科学论文集(第1卷)[C];1991年
4 吴清烈;徐南荣;;基于神经网络的一种多目标决策方法[A];复杂巨系统理论·方法·应用——中国系统工程学会第八届学术年会论文集[C];1994年
5 李晓钟;汪培庄;罗承忠;;神经网络与模糊逻辑[A];中国系统工程学会模糊数学与模糊系统委员会第五届年会论文选集[C];1990年
6 房育栋;余英林;;高阶自组织映射及其学习算法[A];1995年中国控制会议论文集(上)[C];1995年
7 王晓晔;杜朝辉;吕德忠;刘建峰;;神经网络模糊控制在温度控制系统中的应用[A];1997中国控制与决策学术年会论文集[C];1997年
8 金龙;吴建生;;基于遗传算法的神经网络短期气候预测模型(摘要)[A];新世纪气象科技创新与大气科学发展——中国气象学会2003年年会“气候系统与气候变化”分会论文集[C];2003年
9 申伟;张元培;;基于MATLAB的自适应神经网络模糊系统(ANFIS)的应用[A];《制造业自动化与网络化制造》学术交流会论文集[C];2004年
10 田艳兵;;BP算法和PSO算法在神经网络中的研究[A];第二十九届中国控制会议论文集[C];2010年
中国重要报纸全文数据库 前10条
1 于翔;数字神经网络中的协同应用[N];网络世界;2009年
2 健康时报特约记者  张献怀;干细胞移植:修复受损的神经网络[N];健康时报;2006年
3 邹丽梅 陈耀群;江苏科大神经网络应用研究通过鉴定[N];中国船舶报;2006年
4 记者 孙刚;“神经网络”:打开复杂工艺“黑箱”[N];解放日报;2007年
5 本报首席记者 任荃 实习生 史博臻;轨交“神经网络”触动创新神经[N];文汇报;2011年
6 计算机世界实验室 韩勖;当布线系统遭遇神经网络[N];计算机世界;2009年
7 曹建兵 李祖兵 特约记者 何天进 本报记者 于莘明;给导弹植入“神经网络”[N];科技日报;2005年
8 谭薇;“潮湿计算机”:拥有人类智慧的超级大脑[N];第一财经日报;2010年
9 韩婷婷;ICT强壮奥运“神经网络”[N];通信产业报;2007年
10 ;人老了,大脑仍能形成新的神经网络[N];新华每日电讯;2004年
中国博士学位论文全文数据库 前10条
1 刘志祥;深部开采高阶段尾砂充填体力学与非线性优化设计[D];中南大学;2005年
2 戴雪龙;PET探测器神经网络定位方法研究[D];中国科学技术大学;2006年
3 马戎;智能控制技术在炼钢电弧炉中的应用研究[D];西北工业大学;2006年
4 文敦伟;面向多智能体和神经网络的智能控制研究[D];中南大学;2001年
5 吴大宏;基于遗传算法与神经网络的桥梁结构健康监测系统研究[D];西南交通大学;2003年
6 杜文斌;基于神经网络的冠心病证候诊断标准与药效评价模型研究[D];辽宁中医学院;2004年
7 熊雪梅;参数化模糊遗传神经网络及在植物病害预测的应用[D];南京农业大学;2004年
8 李智;电站锅炉燃烧系统优化运行与应用研究[D];东北大学;2005年
9 王承;基于神经网络的模拟电路故障诊断方法研究[D];电子科技大学;2005年
10 谭阳红;基于小波和神经网络的大规模模拟电路故障诊断研究[D];湖南大学;2005年
中国硕士学位论文全文数据库 前10条
1 杨立儒;基于神经网络的电路故障诊断的研究与实现[D];解放军信息工程大学;2010年
2 刘兰兰;基于神经网络和遗传算法的H型钢粗轧工艺参数优化研究[D];山东大学;2011年
3 田鹏明;基于神经网络的振动主动控制研究[D];太原理工大学;2012年
4 姜宇;发动机裂解设备故障诊断技术的研究[D];吉林大学;2012年
5 邢远凯;基于决策树和遗传算法的神经网络研究及应用[D];浙江大学;2010年
6 高宝建;基于神经网络的月降水预报模型在洪泽湖的应用研究[D];南京信息工程大学;2012年
7 陈少华;基于Hopfield神经网络控制系统的研究[D];山东科技大学;2010年
8 来建波;基于神经网络的路段行程时间预测研究[D];云南大学;2011年
9 闫超;基于BP神经网络的煤矿深埋硐室软岩流变参数反演分析[D];安徽理工大学;2011年
10 段成均;时滞神经网络稳定性分析[D];重庆交通大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026