收藏本站
《大连理工大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

带惩罚项的BP神经网络训练算法的收敛性

邵红梅  
【摘要】:前馈神经网络在许多领域有着广泛的应用。网络的泛化能力,即网络正确预测训练集之外样本的能力,是衡量神经网络性能的一个重要指标。研究表明,满足训练样本集上逼近精度的规模最小的网络具有较好的泛化能力[1-7]。 网络修剪是得到上述小网络的有效途径之一,它包括直接修剪法和惩罚项法。直接修剪法是指从一个很大的足够解决当前问题的网络开始,在训练结束后通过选择或有序的方式删除一些不重要或敏感度较小的连接权和神经元节点[3,8,9]。不过,该方法破坏了网络结构,往往使得网络训练需要很长的时间。惩罚项方法是一种间接修剪网络的办法,其原理是在传统的误差函数中加入一衡量网络结构复杂程度的“复杂度项”。应用到权值更新规则后,该项在训练过程中起到防止权值增长太大和驱使不重要权值逐渐减小到零的作用。尽管那些接近零的连接权没有从网络中被删除。但它们对网络输出几乎没有影响,已相当于从网络中被删除了。这样一来,训练后的神经网络实际上已是被修剪过的小网络了。可见,惩罚项法在没有破坏网络结构的同时又达到网络修剪的目的,从而是提高神经网络泛化能力的一个重要方法。 已有许多文献研究了多种不同形式的惩罚项[1-3,6,10-13],但他们中的大多数是在实验的基础上对惩罚项的性能进行研究的,并没有在数学上给出理论证明。本文从理论上分析了惩罚项对权值的压制作用,从而为以上实验观察结果提供了理论依据。反向传播算法(BP算法)是一种简单又常用的神经网络训练算法,它有批处理和在线两种运行模式。本文主要研究在批处理和在线两种运行模式下,带weigh-decay和inner-product惩罚项的BP算法的收敛性以及引入惩罚项后网络权值的一致有界性。本论文的结构安排如下: 第一章回顾一些有关神经网络的背景知识,第二章介绍几种常见的惩罚项,包括weight-decay惩罚项、weight-elimination惩罚项和inner-product惩罚项等。 第三章主要讨论带weigh-decay惩罚项的批处理BP算法和改进的批处理BP算法的收敛性。对于前者,我们给出惩罚项系数和学习率之间的一个确定的数学表达式,并证明在此条件下误差函数的单调下降、训练算法的收敛和训练过程中权值的一致有界。对于改进后的BP算法,我们不仅证明了一种变学习率的BP算法的收敛性,还考虑了带动量项的BP算法的收敛性问题。 第四章研究带weigh-decay惩罚项的在线BP算法的收敛性。在线学习方式下,训练样本在一个训练回合中呈现给网络的方式分为固定顺序和随机顺序两种。这一章我们证明在线运行方式下,当训练样本以固定顺序呈现给神经网络时带weigh-decay惩罚项的在线BP算法的收敛性。
【学位授予单位】:大连理工大学
【学位级别】:博士
【学位授予年份】:2006
【分类号】:O241

【引证文献】
中国期刊全文数据库 前1条
1 刘延喜;;Linex损失下的BP神经网络分类方法及在人脸识别中的应用[J];吉林大学学报(理学版);2010年03期
中国博士学位论文全文数据库 前2条
1 李峰;英文科技文档中数学公式的定位、识别与重建[D];大连理工大学;2007年
2 史志伟;混沌时间序列预测与储备池机器学习方法研究[D];大连理工大学;2008年
中国硕士学位论文全文数据库 前5条
1 袁小辉;热轧带材板形预测与板形控制智能模型研究[D];燕山大学;2011年
2 张凌;基于人工神经网络的期权定价模型[D];武汉理工大学;2007年
3 王玉常;基于嵌入式系统的优化算法设计和研究[D];浙江大学;2008年
4 周杰;蓄电池参数无线采集系统的开发[D];大连理工大学;2008年
5 胡杨;重载列车缓冲器数学模型研究[D];大连交通大学;2012年
【参考文献】
中国期刊全文数据库 前7条
1 吴微,陈维强,刘波;用BP神经网络预测股票市场涨跌[J];大连理工大学学报;2001年01期
2 吴微;侯利昌;;基于LL(1)文法的印刷体数学公式结构分析方法[J];大连理工大学学报;2006年03期
3 鲁子奕,杨绿溪,吴球,何振亚;提高前馈神经网络泛化能力的新算法[J];电路与系统学报;1997年04期
4 阎平凡;人工神经网络的容量、学习与计算复杂性[J];电子学报;1995年05期
5 曲笛;吴微;邵红梅;;带动量项的线性输出BP网络收敛性[J];高等学校计算数学学报;2005年S1期
6 孔俊,吴微,赵卫海;识别数学符号的神经网络方法[J];吉林大学自然科学学报;2001年03期
7 武妍,张立明;神经网络的泛化能力与结构优化算法研究[J];计算机应用研究;2002年06期
【共引文献】
中国期刊全文数据库 前10条
1 王涛;傅建;周盛;;基于贝叶斯正则化神经网络的夹芯注层间界面控制[J];工程塑料应用;2008年08期
2 符勇;基于生物进化与生物智能原理的信息优化方法[J];安徽教育学院学报;2000年06期
3 何琴,高建华,刘伟;概率神经网络在烤烟产地分类中的应用[J];安徽农业大学学报;2005年04期
4 冯学军,赵琴;径向基神经网络在股市预测中的应用[J];安庆师范学院学报(自然科学版);2005年01期
5 潘星;杨汝月;;关于泛化神经网络与支持向量机的研究[J];安庆师范学院学报(自然科学版);2007年01期
6 周宇恒,赵书玲,李钟侠;BP网络泛化能力的改进方法[J];兵工自动化;2004年05期
7 孙延风,梁艳春,姜静清,吴春国;金融时间序列预测中的神经网络方法[J];吉林大学学报(信息科学版);2004年01期
8 赵汉卿;戚金清;王兢;征进;吴微;;基于小波变换的双并联神经网络在混合气体浓度预测中的应用[J];传感技术学报;2010年05期
9 沈巍;;股票价格预测模型研究[J];财经问题研究;2009年07期
10 郭辉;;支持向量机选择及其在股票走势预测中的应用[J];重庆师范大学学报(自然科学版);2007年04期
中国重要会议论文全文数据库 前5条
1 王洪德;马云东;;基于粗集-BP网络的通风系统可靠性预警方法研究[A];中国科协2004年学术年会第16分会场论文集[C];2004年
2 姜晓军;程卫东;;神经网络训练样本选取与优化的研究[A];第十七届全国测控计量仪器仪表学术年会(MCMI'2007)论文集(下册)[C];2007年
3 杜珊;孟祥宁;;基于RBF神经网络的转炉冶炼终点预报模型研究[A];冶金轧制过程自动化技术交流会论文集[C];2005年
4 李正学;吴微;;引入技术指标的BP网络在沪市综合指数涨跌预测中的应用[A];Data Analysis, Econo-physics and Risk Management--Proceedings of CCAST (World Laboratory) Workshop[C];2001年
5 张文生;孙增圻;叶榛;;一种多层神经网络实现高维非线性连续函数新的构造方法[A];1999年中国智能自动化学术会议论文集(上册)[C];1999年
中国博士学位论文全文数据库 前10条
1 刘卫红;垃圾邮件检测与过滤关键技术研究[D];华南理工大学;2010年
2 荆涛;面向领域网页的语义标注若干问题研究[D];吉林大学;2011年
3 沈巍;建立股指波动预测模型的方法研究及应用[D];华北电力大学(北京);2011年
4 杨艳屏;主动学习算法及其在心血管疾病诊断中的应用研究[D];华中科技大学;2010年
5 张晶;污水处理过程模拟及系统软件开发[D];大连理工大学;2011年
6 姚拓中;结合主动学习的视觉场景理解[D];浙江大学;2011年
7 陈伟;语音识别声学建模中的主动学习研究[D];北京邮电大学;2011年
8 王荣燕;复杂音频分类中的关键问题研究[D];北京邮电大学;2011年
9 李兴华;高分辨力空间摄影相机像移补偿控制技术研究[D];中国科学院长春光学精密机械与物理研究所;2000年
10 杨启文;计算智能及其工程应用[D];浙江大学;2001年
中国硕士学位论文全文数据库 前10条
1 贾琨钰;用于前馈神经网络的一种反向传播算法的改进[D];大连理工大学;2010年
2 高利坤;感知器算法和BP算法的性能对比分析[D];大连理工大学;2010年
3 马岩尉;基于前馈神经网络的电子鼻模式识别方法[D];大连理工大学;2010年
4 赵汉卿;智能算法在气体识别与NoC单元映射中的研究[D];大连理工大学;2010年
5 张浩;模糊理论与神经网络在股票预测中的应用研究[D];广西民族大学;2010年
6 徐旭明;在线手写数学公式识别的研究[D];淮北师范大学;2010年
7 李英伟;基于增量改进贝叶斯领域问句分类研究[D];昆明理工大学;2009年
8 郭宁;基于灰色神经网络组合模型的股票价格预测研究[D];昆明理工大学;2008年
9 高晖;基于S变换的神经网络对自闭贯通线的故障测距[D];昆明理工大学;2010年
10 杨建军;水泥生产过程DCS仿真培训系统的研究[D];电子科技大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 何安瑞;黄涛;杨荃;陈先霖;赵林;;热带钢轧机板形综合控制技术开发[J];北京科技大学学报;2007年05期
2 王晓晨;杨荃;彭鹏;孙文权;刘天武;;基于屈曲失稳判据的冷连轧断面形状可变域求解[J];北京科技大学学报;2009年11期
3 张斌;常雷;童钟灵;;基于矩的图像归一化技术与Matlab实践[J];四川兵工学报;2010年04期
4 侯祥林,胡英,李永强,徐心和;多层人工神经网络合理结构的确定方法[J];东北大学学报;2003年01期
5 张秀玲;宋建军;;基于动态最近邻聚类算法的RBF神经网络及其在MH-Ni电池容量预测中的应用[J];电工技术学报;2005年11期
6 郭力宾,吴微;二维图像中交叉点的神经网络识别[J];大连理工大学学报;2003年05期
7 刘险峰,邹积岩;基于灰色理论的蓄电池容量预测[J];大连理工大学学报;2005年05期
8 吴微;侯利昌;;基于LL(1)文法的印刷体数学公式结构分析方法[J];大连理工大学学报;2006年03期
9 魏伟;张善荣;刘庆忠;;长大列车制动系统减压特性的计算机模拟[J];大连铁道学院学报;1992年04期
10 魏伟,李洪斌;120阀试验过程的计算机仿真──主阀模型及仿真结果[J];大连铁道学院学报;2000年02期
中国重要会议论文全文数据库 前1条
1 董和民;徐杰;宋嗣海;褚春光;郝志琴;;唐钢热连轧机板形控制技术的研究与应用[A];2007中国钢铁年会论文集[C];2007年
中国博士学位论文全文数据库 前2条
1 陈超;跳-扩散过程的期权定价模型[D];中南大学;2001年
2 席剑辉;混沌时间序列的长期预测方法研究[D];大连理工大学;2005年
中国硕士学位论文全文数据库 前7条
1 王亚飞;快速货车纵向动力学研究[D];西南交通大学;2011年
2 郭力宾;交叉点的神经网络识别及联机手写字符的概率神经网络识别初探[D];大连理工大学;2003年
3 侯利昌;印刷体数学公式识别系统的设计与实现[D];大连理工大学;2004年
4 朱并队;印刷体数学表达式识别系统的设计与实现[D];大连理工大学;2005年
5 刘志强;基于神经网络的期权定价模型[D];重庆大学;2005年
6 舒新;蓄电池监测系统研究与开发[D];河海大学;2007年
7 张娜;基于遗传算法的棒材孔型多目标优化[D];燕山大学;2006年
【二级引证文献】
中国期刊全文数据库 前5条
1 王健伟;宋执环;;基于嵌入式系统的神经网络在线训练平台实现[J];传感器与微系统;2010年08期
2 程丹;王连明;;基于NIOSⅡ多核技术的Hopfield神经网络硬件实现方法[J];东北师大学报(自然科学版);2011年03期
3 王健伟;宋执环;;支持向量机软测量的嵌入式系统平台实现[J];控制工程;2011年02期
4 段玉三;;人工神经网络文献综述[J];科技风;2011年05期
5 高鹏程;王鹏;童牧;;基于神经网络的波动率对权证价格预测效果比较分析[J];生产力研究;2010年08期
中国博士学位论文全文数据库 前2条
1 杨巨峰;联机手写化学公式处理关键问题研究[D];南开大学;2009年
2 杨飞;基于回声状态网络的交通流预测模型及其相关研究[D];北京邮电大学;2012年
中国硕士学位论文全文数据库 前10条
1 陈贵峰;基于ARM9的蓄电池管理系统的研究[D];河北农业大学;2011年
2 赵霞;基于智能优化算法的期权定价模型参数估计[D];江南大学;2011年
3 刘旭彬;基于神经网络方法的期权定价应用研究[D];暨南大学;2011年
4 薛升翔;径向基神经网络算法优化及在嵌入式系统中的应用[D];新疆大学;2011年
5 段俊;面向先进控制的SOC平台的设计与实现[D];浙江大学;2012年
6 郭照斌;Bagging算法神经网络的抗噪声能力及应用[D];大连理工大学;2009年
7 卢中亮;数学公式字符识别及BP并行算法分类器[D];大连理工大学;2008年
8 常新峰;一种定位中文印刷体文档中数学表达式的方法[D];河北大学;2009年
9 王健伟;基于嵌入式系统的在线训练软测量平台[D];浙江大学;2010年
10 郭志峰;中文扫描印刷体文档中数学公式的特征提取及定位[D];广西师范大学;2010年
【二级参考文献】
中国期刊全文数据库 前7条
1 鲁子奕,杨绿溪,吴球,何振亚;提高前馈神经网络泛化能力的新算法[J];电路与系统学报;1997年04期
2 叶东毅;前馈神经网络隐层结点设计的一个学习算法[J];电子学报;1997年11期
3 阎平凡;人工神经网络的容量、学习与计算复杂性[J];电子学报;1995年05期
4 张鸿宾;;训练多层网络的样本数问题[J];自动化学报;1993年01期
5 张学工;关于统计学习理论与支持向量机[J];自动化学报;2000年01期
6 陈荣,徐用懋,兰鸿森;多层前向网络的研究——遗传BP算法和结构优化策略[J];自动化学报;1997年01期
7 卢峥;史习智;王学军;;建筑工程中手写体常用数学符号的神经网络识别[J];模式识别与人工智能;1995年04期
【相似文献】
中国期刊全文数据库 前10条
1 李海燕;张会景;;利用单调有界定理判断递归数列的收敛性[J];中国校外教育;2010年S1期
2 李文静;;一类离散时间经济学模型的全局性分析[J];教育教学论坛;2010年23期
3 邱德润;朱明旱;;BP算法在求解非线性问题中的应用研究[J];湖南文理学院学报(自然科学版);2006年02期
4 赵青;;基于分层遗传算法的BP神经网络学习算法[J];杭州师范大学学报(自然科学版);2008年02期
5 柳文,冯建农,柳明;一种改进型快速BP训练算法[J];计算机工程与科学;1998年04期
6 西密尔·通兹;关于一类五阶常微分方程解的渐近性质[J];应用数学和力学;2003年08期
7 鲁慧芳;吴微;李正学;;带惩罚项与随机输入的BP神经网络在线梯度学习算法的收敛性[J];数学研究与评论;2007年03期
8 苏义鑫;沈俊;张丹红;胡孝芳;;神经网络和改进粒子群算法在地震预测中的应用[J];计算机应用;2011年07期
9 刘岚喆;;遍历幂函数的加权不等式和遍历平均在加权L~1空间的收敛性[J];长沙电力学院学报(自然科学版);1997年01期
10 贺兴时;余兵;韩琳;;基于差分进化的BP网络学习算法[J];纺织高校基础科学学报;2006年02期
中国重要会议论文全文数据库 前10条
1 王仍容;孙优贤;;一种新的神经网络的LMS学习算法[A];2001中国控制与决策学术年会论文集[C];2001年
2 陈振湘;陈剑勇;徐慎初;钟金水;;具有刺激-反应阈值的前馈神经网络[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
3 李江;杨慧中;;一种基于扩展Kalman滤波器的神经网络学习算法[A];江苏省自动化学会七届四次理事会暨2004学术年会青年学者论坛论文集[C];2004年
4 宋宜斌;王培进;李凯里;;多层前馈神经网络中BP算法的改进及其应用研究[A];2001年中国智能自动化会议论文集(上册)[C];2001年
5 赵晓敏;李永延;;前馈神经网络的一种新型算法[A];2001中国控制与决策学术年会论文集[C];2001年
6 吴强;罗迎春;郭圣权;;用于多层前馈神经网络训练的线性递推估计与BP算法组合的学习算法[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
7 刘勇;陈红;李嗣福;;BP算法改进研究[A];1997年中国控制会议论文集[C];1997年
8 王治祥;丁锋;李小芹;;一类时变系统参数跟踪估计[A];1992年中国控制与决策学术年会论文集[C];1992年
9 刘菲;;人工神经网络在企业数据分析中的应用研究[A];全国第九届企业信息化与工业工程学术会议论文集[C];2005年
10 左旭坤;李国丽;姜卫东;;神经网络BP算法的改进及应用[A];计算机技术与应用进展——全国第17届计算机科学与技术应用(CACIS)学术会议论文集(下册)[C];2006年
中国重要报纸全文数据库 前10条
1 本报记者 刘笑一;上海市场迈向收敛性稳定[N];中国房地产报;2005年
2 北京产权交易所董事长 北京环境交易所董事长 熊焰;低碳转型的“收敛性”[N];21世纪经济报道;2010年
3 本报记者 昊天;以太网的张力[N];计算机世界;2004年
4 ;[N];期货日报;2003年
5 ;茶水煮饭又香又防病[N];卫生与生活报;2007年
6 本报记者 黄嵘;CFTC开会“把脉”农产品市场[N];上海证券报;2008年
7 李俊;阻挡热钱 CFTC新规强化农产品期货监管[N];第一财经日报;2008年
8 杨宏辉;朗盛皮革化学新品亮相展会[N];中国化工报;2006年
9 李佩文;忌口应有度[N];健康报;2006年
10 健康时报特约专家 李佩文;“饮食忌口”如是说[N];健康时报;2006年
中国博士学位论文全文数据库 前10条
1 邵红梅;带惩罚项的BP神经网络训练算法的收敛性[D];大连理工大学;2006年
2 张会生;前馈神经网络梯度训练算法的几个收敛性结果[D];大连理工大学;2009年
3 王健;前馈神经网络梯度学习算法收敛性分析[D];大连理工大学;2012年
4 邵郅邛;连续感知器学习算法的有限收敛性及连续距离转换神经网络[D];大连理工大学;2005年
5 颜文勇;一些相补问题的理论与算法研究[D];四川大学;2007年
6 林清水;效应代数上几类测度的若干研究[D];哈尔滨工业大学;2010年
7 张传洲;Vilenkin-Like系统上算子有界性[D];武汉大学;2006年
8 柴世民;具变迁移率Cahn-Hilliard方程的谱方法[D];吉林大学;2009年
9 侯木舟;基于构造型前馈神经网络的函数逼近与应用[D];中南大学;2009年
10 商玉凤;解非线性规划、均衡规划和变分不等式问题的动约束组合同伦方法[D];吉林大学;2006年
中国硕士学位论文全文数据库 前10条
1 张艳红;反应扩散系统全局解的一致有界性和收敛性[D];福州大学;2005年
2 丁小帅;递归神经网络几个梯度学习算法的收敛性[D];大连理工大学;2007年
3 孙昕;关于投影梯度法的一些新的研究结果[D];辽宁师范大学;2007年
4 操礼新;英汉简单完成句对比研究[D];安徽师范大学;2003年
5 周淑娟;空间的刻画与奇异积分算子的权模不等式[D];青岛大学;2004年
6 钟江华;一类三次Kolmogorov型系统的有界性及极限环[D];福州大学;2003年
7 王新霞;Herz型Hardy空间上算子的有界性[D];新疆大学;2005年
8 韩秀;几类全纯函数空间上的加权复合算子[D];浙江师范大学;2009年
9 刘开恩;脉冲微分系统两个测度有界性和稳定性定理[D];山东师范大学;2000年
10 马丽敏;奇异积分交换子的有界性[D];青岛大学;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026