收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

熵在BP网络泛化增强技术中的应用

高月  
【摘要】:神经网络是机器学习中最重要的模型之一,它基于无次序、无规则的样本数据集,试图从中提取出描述此样本数据集特征的数学模型。其中,BP神经网络因其结构简单、算法易于实现且理论坚实,能够实现复杂的非线性映射,所以广泛应用于模式识别、智能控制等领域。但是,在BP网络实际应用中也存在一些不足,其主要有收敛速度慢、易于产生过拟合,进而影响了网络的泛化能力。网络的泛化能力也就是对于未见样本的辨识能力,是体现神经网络性能的一个重要指标。 提高网络泛化能力的一个指导思想是训练出在训练集能够达到精度要求并且其结构尽可能简单的网络。本文首先研究了网络结构优化算法,通过剪枝的方法在网络训练过程中删去一些不重要的单元和链接。重点分析了在传统的误差函数中加入惩罚项的间接剪枝法。在此基础上,针对网络收敛速度慢、产生过拟合的不足,设计了一种基于信息理论学习的惩罚项函数,通过正则化方法把一些先验知识融入到网络的学习中,旨在提高泛化能力,同时解决训练效率问题。最后,实验比较了传统BP算法,带惩罚项的BP算法以及改进后基于信息熵惩罚项的算法的性能。实验结果表明,本文提出的基于信息熵的惩罚项算法的性能较优,并且训练效率较高。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 孙艳梅;刘树东;陶佰睿;;基于FA-RBF神经网络的压力传感器的温度漂移补偿法[J];物理实验;2011年07期
2 ;美用DNA制造出首个人造神经网络[J];硅谷;2011年17期
3 张弦;王宏力;;具有选择与遗忘机制的极端学习机在时间序列预测中的应用[J];物理学报;2011年08期
4 康辉;黄耀群;王金霞;;基于Volterra频域核的非线性模拟电路故障诊断[J];测试技术学报;2011年04期
5 张弦;王宏力;;基于贯序正则极端学习机的时间序列预测及其应用[J];航空学报;2011年07期
6 宫蓉蓉;;基于OLS与EPSO算法的RBF企业订单预测模型研究[J];计算机工程与应用;2011年22期
7 杨洪军;王振友;程海涛;;BP多传感器融合技术在罐车油位误差处理中的应用[J];山东理工大学学报(自然科学版);2011年03期
8 郭庆春;孔令军;史永博;崔文娟;张小永;寇立群;;基于神经网络的入境旅游人数预测[J];价值工程;2011年25期
9 宁彬;吴钊;周健威;;电子政务绩效评价体系研究[J];电脑知识与技术;2011年13期
10 谢文兰;;对提高BP神经网络泛化能力的分析和总结[J];广东科技;2011年14期
11 黄莲花;李光明;;神经网络数据融合在车用传感器中的应用[J];装备制造技术;2011年08期
12 张国光;王林山;;一类时滞递归神经网络的鲁棒稳定性[J];滨州学院学报;2011年03期
13 周鸣一;程文清;赵建立;;基于神经网络的程控交换机故障诊断方法研究[J];电脑知识与技术;2011年25期
14 杜玮;刘泉;李景松;;基于改进BP神经网络的复杂系统故障识别[J];武汉理工大学学报;2011年06期
15 曹婧华;冉彦中;郭金城;;玉米考种系统的设计与实现[J];长春师范学院学报;2011年08期
16 孙海龙;冯超;匙瑞堂;;滚动轴承状态监测[J];工业设计;2011年05期
17 李华;曹晓龙;成江荣;;BP神经网络在软件项目风险评估中的应用[J];计算机仿真;2011年07期
18 杨鹤年;;机电一体化系统中的智能控制技术[J];煤炭技术;2011年07期
19 许杰;程锦房;何光进;;一种基于舰船磁场的神经网络识别模型[J];船电技术;2011年09期
20 孙朝云;;基于人工神经网络的预测模型[J];福建电脑;2011年07期
中国重要会议论文全文数据库 前10条
1 梁循;;神经网络中训练样本空间的分割特性及其应用[A];1995中国控制与决策学术年会论文集[C];1995年
2 孙洁;吴铁军;;结合先验知识的神经网络的泛化能力分析[A];1999中国控制与决策学术年会论文集[C];1999年
3 孙德保;王凯;;前馈神经网络的容错性研究[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
4 王雷;蒋爱平;;基于DNA编码的遗传神经网络算法及应用[A];第十九届测控、计量、仪器仪表学术年会(MCMI'2009)论文集[C];2009年
5 孟凡华;吴学礼;杜太行;;一种新型联想记忆神经网络在非线性系统辨识中的研究[A];'2003系统仿真技术及其应用学术交流会论文集[C];2003年
6 王德想;李东;孙德保;;神经网络容错性和灵敏度研究的进展[A];1996中国控制与决策学术年会论文集[C];1996年
7 阳治维;李绍军;;改进的Alopex算法及其在过程建模中的应用[A];2009年中国智能自动化会议论文集(第二分册)[C];2009年
8 邢明海;陈祥光;王渝;;BP学习算法的应用研究与比较[A];全国冶金自动化信息网年会论文集[C];2004年
9 刘治;李春文;;一种多层模糊CMAC自适应非线性离散控制[A];2001中国控制与决策学术年会论文集[C];2001年
10 李凡军;魏海坤;宋文忠;;动态主元分析在上市公司财务困境预测中的应用[A];全国自动化新技术学术交流会会议论文集(一)[C];2005年
中国博士学位论文全文数据库 前10条
1 焦嵩鸣;计算智能及其在热工系统中的应用研究[D];华北电力大学(河北);2007年
2 刘志祥;深部开采高阶段尾砂充填体力学与非线性优化设计[D];中南大学;2005年
3 戴雪龙;PET探测器神经网络定位方法研究[D];中国科学技术大学;2006年
4 马戎;智能控制技术在炼钢电弧炉中的应用研究[D];西北工业大学;2006年
5 文敦伟;面向多智能体和神经网络的智能控制研究[D];中南大学;2001年
6 吴大宏;基于遗传算法与神经网络的桥梁结构健康监测系统研究[D];西南交通大学;2003年
7 杜文斌;基于神经网络的冠心病证候诊断标准与药效评价模型研究[D];辽宁中医学院;2004年
8 熊雪梅;参数化模糊遗传神经网络及在植物病害预测的应用[D];南京农业大学;2004年
9 李智;电站锅炉燃烧系统优化运行与应用研究[D];东北大学;2005年
10 王承;基于神经网络的模拟电路故障诊断方法研究[D];电子科技大学;2005年
中国硕士学位论文全文数据库 前10条
1 董占华;基于极大似然法的神经网络研究与应用[D];江南大学;2007年
2 李蓉;神经网络在缺陷接地结构最优化设计中的应用研究[D];天津大学;2007年
3 闫超;基于BP神经网络的煤矿深埋硐室软岩流变参数反演分析[D];安徽理工大学;2011年
4 王源坚;基于BP神经网络的制造成熟度评价[D];天津大学;2010年
5 朱平;超临界两步法制备生物柴油的数值模拟研究[D];昆明理工大学;2009年
6 于红霞;多模型自适应控制在过热气温控制系统中的应用研究[D];东北大学;2008年
7 董威;改进的BP神经网络在评价指标体系中的应用研究[D];东北财经大学;2011年
8 吴昊;改进的遗传算法和BP神经网络在大气质量评价及预测中的应用研究[D];南京信息工程大学;2012年
9 杨立儒;基于神经网络的电路故障诊断的研究与实现[D];解放军信息工程大学;2010年
10 刘兰兰;基于神经网络和遗传算法的H型钢粗轧工艺参数优化研究[D];山东大学;2011年
中国重要报纸全文数据库 前10条
1 记者 陈青 通讯员 孙国根;揭示神经网络形成新机制[N];文汇报;2011年
2 于翔;数字神经网络中的协同应用[N];网络世界;2009年
3 健康时报特约记者  张献怀;干细胞移植:修复受损的神经网络[N];健康时报;2006年
4 邹丽梅 陈耀群;江苏科大神经网络应用研究通过鉴定[N];中国船舶报;2006年
5 记者 孙刚;“神经网络”:打开复杂工艺“黑箱”[N];解放日报;2007年
6 本报首席记者 任荃 实习生 史博臻;轨交“神经网络”触动创新神经[N];文汇报;2011年
7 计算机世界实验室 韩勖;当布线系统遭遇神经网络[N];计算机世界;2009年
8 曹建兵 李祖兵 特约记者 何天进 本报记者 于莘明;给导弹植入“神经网络”[N];科技日报;2005年
9 谭薇;“潮湿计算机”:拥有人类智慧的超级大脑[N];第一财经日报;2010年
10 韩婷婷;ICT强壮奥运“神经网络”[N];通信产业报;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978