收藏本站
收藏 | 论文排版

带惩罚项的BP神经网络训练算法的收敛性

邵红梅  
【摘要】:前馈神经网络在许多领域有着广泛的应用。网络的泛化能力,即网络正确预测训练集之外样本的能力,是衡量神经网络性能的一个重要指标。研究表明,满足训练样本集上逼近精度的规模最小的网络具有较好的泛化能力[1-7]。 网络修剪是得到上述小网络的有效途径之一,它包括直接修剪法和惩罚项法。直接修剪法是指从一个很大的足够解决当前问题的网络开始,在训练结束后通过选择或有序的方式删除一些不重要或敏感度较小的连接权和神经元节点[3,8,9]。不过,该方法破坏了网络结构,往往使得网络训练需要很长的时间。惩罚项方法是一种间接修剪网络的办法,其原理是在传统的误差函数中加入一衡量网络结构复杂程度的“复杂度项”。应用到权值更新规则后,该项在训练过程中起到防止权值增长太大和驱使不重要权值逐渐减小到零的作用。尽管那些接近零的连接权没有从网络中被删除。但它们对网络输出几乎没有影响,已相当于从网络中被删除了。这样一来,训练后的神经网络实际上已是被修剪过的小网络了。可见,惩罚项法在没有破坏网络结构的同时又达到网络修剪的目的,从而是提高神经网络泛化能力的一个重要方法。 已有许多文献研究了多种不同形式的惩罚项[1-3,6,10-13],但他们中的大多数是在实验的基础上对惩罚项的性能进行研究的,并没有在数学上给出理论证明。本文从理论上分析了惩罚项对权值的压制作用,从而为以上实验观察结果提供了理论依据。反向传播算法(BP算法)是一种简单又常用的神经网络训练算法,它有批处理和在线两种运行模式。本文主要研究在批处理和在线两种运行模式下,带weigh-decay和inner-product惩罚项的BP算法的收敛性以及引入惩罚项后网络权值的一致有界性。本论文的结构安排如下: 第一章回顾一些有关神经网络的背景知识,第二章介绍几种常见的惩罚项,包括weight-decay惩罚项、weight-elimination惩罚项和inner-product惩罚项等。 第三章主要讨论带weigh-decay惩罚项的批处理BP算法和改进的批处理BP算法的收敛性。对于前者,我们给出惩罚项系数和学习率之间的一个确定的数学表达式,并证明在此条件下误差函数的单调下降、训练算法的收敛和训练过程中权值的一致有界。对于改进后的BP算法,我们不仅证明了一种变学习率的BP算法的收敛性,还考虑了带动量项的BP算法的收敛性问题。 第四章研究带weigh-decay惩罚项的在线BP算法的收敛性。在线学习方式下,训练样本在一个训练回合中呈现给网络的方式分为固定顺序和随机顺序两种。这一章我们证明在线运行方式下,当训练样本以固定顺序呈现给神经网络时带weigh-decay惩罚项的在线BP算法的收敛性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 李海燕;张会景;;利用单调有界定理判断递归数列的收敛性[J];中国校外教育;2010年S1期
2 李文静;;一类离散时间经济学模型的全局性分析[J];教育教学论坛;2010年23期
3 邱德润;朱明旱;;BP算法在求解非线性问题中的应用研究[J];湖南文理学院学报(自然科学版);2006年02期
4 赵青;;基于分层遗传算法的BP神经网络学习算法[J];杭州师范大学学报(自然科学版);2008年02期
5 柳文,冯建农,柳明;一种改进型快速BP训练算法[J];计算机工程与科学;1998年04期
6 西密尔·通兹;关于一类五阶常微分方程解的渐近性质[J];应用数学和力学;2003年08期
7 鲁慧芳;吴微;李正学;;带惩罚项与随机输入的BP神经网络在线梯度学习算法的收敛性[J];数学研究与评论;2007年03期
8 苏义鑫;沈俊;张丹红;胡孝芳;;神经网络和改进粒子群算法在地震预测中的应用[J];计算机应用;2011年07期
9 刘岚喆;;遍历幂函数的加权不等式和遍历平均在加权L~1空间的收敛性[J];长沙电力学院学报(自然科学版);1997年01期
10 贺兴时;余兵;韩琳;;基于差分进化的BP网络学习算法[J];纺织高校基础科学学报;2006年02期
11 颜文勇;成和平;王科;;广义集值隐拟补问题解集的有界性及迭代算法[J];四川师范大学学报(自然科学版);2008年01期
12 ;《数学杂志》第28卷(2008)总目次[J];数学杂志;2008年06期
13 陈宏彩;张友兰;;非线性最小二乘问题收敛性的证明[J];数学的实践与认识;2010年23期
14 詹重禧;;一个约束极值问题的加罚方法及其应用[J];西北大学学报(自然科学版);1991年01期
15 黄华;;无穷曲线上的第二类曲线积分[J];长春师范学院学报;2006年04期
16 孙姝;;一类二阶非自治系统解的有界性及渐近性[J];中国海洋大学学报(自然科学版);2006年03期
17 张国锋;姜卫平;苏新洲;;GPS高程转换中BP神经网络的优化探讨[J];测绘信息与工程;2008年04期
18 齐春玲;任安忠;;无界函数的第二类曲线积分[J];三门峡职业技术学院学报;2009年02期
19 刘利;孙明轩;;不确定时变系统的鲁棒学习控制算法[J];控制理论与应用;2010年03期
20 张金;;用聚点来描述的数列的敛散性[J];宁德师专学报(自然科学版);2010年02期
中国重要会议论文全文数据库 前10条
1 王仍容;孙优贤;;一种新的神经网络的LMS学习算法[A];2001中国控制与决策学术年会论文集[C];2001年
2 陈振湘;陈剑勇;徐慎初;钟金水;;具有刺激-反应阈值的前馈神经网络[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
3 李江;杨慧中;;一种基于扩展Kalman滤波器的神经网络学习算法[A];江苏省自动化学会七届四次理事会暨2004学术年会青年学者论坛论文集[C];2004年
4 宋宜斌;王培进;李凯里;;多层前馈神经网络中BP算法的改进及其应用研究[A];2001年中国智能自动化会议论文集(上册)[C];2001年
5 赵晓敏;李永延;;前馈神经网络的一种新型算法[A];2001中国控制与决策学术年会论文集[C];2001年
6 吴强;罗迎春;郭圣权;;用于多层前馈神经网络训练的线性递推估计与BP算法组合的学习算法[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
7 刘勇;陈红;李嗣福;;BP算法改进研究[A];1997年中国控制会议论文集[C];1997年
8 王治祥;丁锋;李小芹;;一类时变系统参数跟踪估计[A];1992年中国控制与决策学术年会论文集[C];1992年
9 刘菲;;人工神经网络在企业数据分析中的应用研究[A];全国第九届企业信息化与工业工程学术会议论文集[C];2005年
10 左旭坤;李国丽;姜卫东;;神经网络BP算法的改进及应用[A];计算机技术与应用进展——全国第17届计算机科学与技术应用(CACIS)学术会议论文集(下册)[C];2006年
中国博士学位论文全文数据库 前10条
1 邵红梅;带惩罚项的BP神经网络训练算法的收敛性[D];大连理工大学;2006年
2 张会生;前馈神经网络梯度训练算法的几个收敛性结果[D];大连理工大学;2009年
3 王健;前馈神经网络梯度学习算法收敛性分析[D];大连理工大学;2012年
4 邵郅邛;连续感知器学习算法的有限收敛性及连续距离转换神经网络[D];大连理工大学;2005年
5 颜文勇;一些相补问题的理论与算法研究[D];四川大学;2007年
6 林清水;效应代数上几类测度的若干研究[D];哈尔滨工业大学;2010年
7 张传洲;Vilenkin-Like系统上算子有界性[D];武汉大学;2006年
8 柴世民;具变迁移率Cahn-Hilliard方程的谱方法[D];吉林大学;2009年
9 侯木舟;基于构造型前馈神经网络的函数逼近与应用[D];中南大学;2009年
10 商玉凤;解非线性规划、均衡规划和变分不等式问题的动约束组合同伦方法[D];吉林大学;2006年
中国硕士学位论文全文数据库 前10条
1 张艳红;反应扩散系统全局解的一致有界性和收敛性[D];福州大学;2005年
2 丁小帅;递归神经网络几个梯度学习算法的收敛性[D];大连理工大学;2007年
3 孙昕;关于投影梯度法的一些新的研究结果[D];辽宁师范大学;2007年
4 操礼新;英汉简单完成句对比研究[D];安徽师范大学;2003年
5 周淑娟;空间的刻画与奇异积分算子的权模不等式[D];青岛大学;2004年
6 钟江华;一类三次Kolmogorov型系统的有界性及极限环[D];福州大学;2003年
7 王新霞;Herz型Hardy空间上算子的有界性[D];新疆大学;2005年
8 韩秀;几类全纯函数空间上的加权复合算子[D];浙江师范大学;2009年
9 刘开恩;脉冲微分系统两个测度有界性和稳定性定理[D];山东师范大学;2000年
10 马丽敏;奇异积分交换子的有界性[D];青岛大学;2004年
中国重要报纸全文数据库 前10条
1 本报记者 刘笑一;上海市场迈向收敛性稳定[N];中国房地产报;2005年
2 北京产权交易所董事长 北京环境交易所董事长 熊焰;低碳转型的“收敛性”[N];21世纪经济报道;2010年
3 本报记者 昊天;以太网的张力[N];计算机世界;2004年
4 ;[N];期货日报;2003年
5 ;茶水煮饭又香又防病[N];卫生与生活报;2007年
6 本报记者 黄嵘;CFTC开会“把脉”农产品市场[N];上海证券报;2008年
7 李俊;阻挡热钱 CFTC新规强化农产品期货监管[N];第一财经日报;2008年
8 杨宏辉;朗盛皮革化学新品亮相展会[N];中国化工报;2006年
9 李佩文;忌口应有度[N];健康报;2006年
10 健康时报特约专家 李佩文;“饮食忌口”如是说[N];健康时报;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978