收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于先验信息编码的约束学习算法研究

韩飞  
【摘要】:由于仅考虑希望的输入/输出信息而没有考虑网络的结构属性和所要解决问题的先验信息或约束条件,传统的基于梯度下降的反向传播算法及其诸多改进的算法都无法避免收敛速度慢、泛化性能差等缺陷。因此,将问题中所蕴涵的先验信息编码进学习算法的研究无疑是一个具有重要意义的研究方向,它能够使网络的训练有方向可循,而不会误入“歧途”,从而节省网络的学习时间并能提高网络的泛化能力。本文主要针对基于先验信息编码的约束学习算法这一主题来开展理论与应用研究,主要工作可以概括为以下几个方面: 1.提出了一类改进的耦合附加函数约束的学习算法,该类算法通过隐单元和输出单元激活函数的一阶或二阶微分信息构造附加的函数约束,并将它们耦合到算法的附加能量函数中去。该类算法能够同时降低输入输出映射灵敏度和惩罚训练中产生的连接权的高频分量,从而使该类算法提高网络的泛化性能和收敛速度。此外,本文还深入研究了隐层单元的附加约束和输出层单元的附加约束的不同组合、隐单元数目和算法中自由参数对网络泛化性能的影响。特别地,本文提出了将放大的梯度函数运用到以上约束算法中,使得算法收敛更快并能增大跳出局部极小点的可能性。最后将这些新算法用于解决时间序列预测问题,取得了较好的效果。 2.为了提高函数逼近精度和收敛速度,提出了三个约束学习算法。这三个逼近算法将从函数逼近问题中提取的先验知识耦合进约束算法中。先验信息耦合进算法中是通过两种方式来实现的,其一是以结构约束的方式来实现的,也就是根据泰勒定理可以将网络的输出表示成多项式的形式;其二是以连接权约束的形式来实现的,即根据微分中值定理求出函数一阶二阶导数近似估计值,再将导数信息表示成权值函数约束并耦合进网络的能量函数中去。与传统的前馈网络逼近算法相比,这三个算法具有收敛快、逼近误差小的特点。 3.根据早期非小细胞肺癌预后预测问题的特点,提出了极端学习机和主分量分析相结合的预测模型。由于充分利用了极端学习机和主分量分析的特点,该模型预测精度高、速度快,取得了传统医学方法无法比拟的效果。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 陈小平;赵鹤鸣;杨新艳;;遗传前馈神经网络在函数逼近中的应用[J];计算机工程;2008年20期
2 刘永;张立毅;;BP和RBF神经网络的实现及其性能比较[J];电子测量技术;2007年04期
3 钟慧玲;李鸿洁;李冰;;基于PSO的BP训练算法[J];计算机工程与设计;2007年17期
4 高宪军;;船舶仿生设计分析[J];华商;2007年Z3期
5 胡建波;向前;;基于一种混合神经网络的船舶设计[J];计算机与信息技术;2005年10期
6 郭聪莉;朱莉;;一种基于PSO的BP神经网络训练方法[J];计算机与信息技术;2007年Z1期
7 杨妍;陈如清;俞金寿;;差分进化粒子群混合优化算法的研究与应用[J];计算机工程与应用;2010年25期
8 肖力;;BP学习算法及其收敛速度的改进[J];阴山学刊(自然科学版);2003年01期
9 穆阿华,周绍磊,刘青志,徐进;利用遗传算法改进BP学习算法[J];计算机仿真;2005年02期
10 夏战国;王珂;王志晓;;基于网络复杂性的BP算法[J];计算机工程与设计;2008年15期
11 张芳芳;贺娟;李明军;;基于导数优化的BP学习算法的研究综述[J];计算机应用研究;2009年03期
12 杨华民;组合式前馈神经网络研究[J];长春光学精密机械学院学报;1998年03期
13 贺一;基于禁忌搜索的前向神经网络在函数逼近中的应用[J];西南师范大学学报(自然科学版);2004年03期
14 刘曙光;郑崇勋;刘明远;;前馈神经网络中的反向传播算法及其改进:进展与展望[J];计算机科学;1996年01期
15 孟斌,冯永杰,翟玉庆;前馈神经网络中BP算法的一种改进[J];东南大学学报(自然科学版);2001年04期
16 赵菊敏;程海青;张立毅;;基于动量项前馈神经网络盲均衡算法[J];太原理工大学学报;2007年03期
17 侯宝臣;邓飞其;;B-P神经网络近似最优步长的研究[J];组合机床与自动化加工技术;2010年04期
18 张伟;师奕兵;周龙甫;卢涛;;基于改进粒子群算法的小波神经网络分类器[J];仪器仪表学报;2010年10期
19 吴凌云;BP神经网络学习算法的改进及其应用[J];信息技术;2003年07期
20 刘佳璐;刘琼荪;胡上尉;;基于放大误差信号的BP算法[J];计算机工程与应用;2007年21期
中国重要会议论文全文数据库 前10条
1 骆再飞;管冰蕾;周世官;;基于混合粒子群优化的神经网络学习算法[A];2009中国控制与决策会议论文集(2)[C];2009年
2 王科俊;金鸿章;李国斌;;综合反向传播算法[A];西部大开发 科教先行与可持续发展——中国科协2000年学术年会文集[C];2000年
3 刘永;张立毅;;BP和RBF神经网络的MATLAB实现及其性能比较[A];2006全国复杂网络学术会议论文集[C];2006年
4 宋宜斌;王培进;李凯里;;多层前馈神经网络中BP算法的改进及其应用研究[A];2001年中国智能自动化会议论文集(上册)[C];2001年
5 李永敏;吉吟东;朱善君;孙增圻;;一种基于规则的前馈神经网络及其学习算法[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
6 梁循;杜继宏;夏绍玮;杨振斌;;前馈神经网络的补偿方法[A];1994年中国控制会议论文集[C];1994年
7 江善和;王其申;江巨浪;;一种速度差分变异的粒子群优化算法[A];2009中国控制与决策会议论文集(2)[C];2009年
8 陈振湘;陈剑勇;徐慎初;钟金水;;具有刺激-反应阈值的前馈神经网络[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
9 孙标;冯浩;刘国安;;前馈神经网络的增广PIDBP学习算法[A];全国冶金企业计控网络化研讨会论文集[C];2003年
10 徐耀群;刘健;张莉;;一种混沌学习算法及应用[A];2003中国控制与决策学术年会论文集[C];2003年
中国博士学位论文全文数据库 前10条
1 韩飞;基于先验信息编码的约束学习算法研究[D];中国科学技术大学;2006年
2 侯木舟;基于构造型前馈神经网络的函数逼近与应用[D];中南大学;2009年
3 王健;前馈神经网络梯度学习算法收敛性分析[D];大连理工大学;2012年
4 窦全胜;求解优化问题的演化计算方法研究[D];吉林大学;2005年
5 刘丽;人工免疫网络研究及应用[D];江南大学;2008年
6 李磊;六自由度并联平台位置正解及控制方法研究[D];哈尔滨工程大学;2008年
7 陈自郁;粒子群优化的邻居拓扑结构和算法改进研究[D];重庆大学;2009年
8 马瑞新;基于粒子群的网络社区动态角色挖掘研究[D];大连理工大学;2012年
9 张军;先验信息整合的压缩感知理论及其应用研究[D];华南理工大学;2012年
10 杨光友;混合粒子群优化及其在嵌入式智能控制中的应用[D];武汉理工大学;2006年
中国硕士学位论文全文数据库 前10条
1 贾琨钰;用于前馈神经网络的一种反向传播算法的改进[D];大连理工大学;2010年
2 李涛;基于SVM和PSO的非线性模型预测控制及应用研究[D];上海交通大学;2008年
3 田军;基于PSO的神经网络模型在股价预测上的研究及应用[D];新疆大学;2008年
4 雷烨;基于粒子群最小二乘支持向量机的故障诊断算法研究[D];兰州交通大学;2010年
5 姚杰;基于PSO混沌神经网络电力系统负荷预测[D];大庆石油学院;2009年
6 马培培;基于粒子群的图像阈值化分割的研究及应用[D];合肥工业大学;2010年
7 刘杨;粒子群优化算法在电力系统无功优化中的应用[D];天津大学;2005年
8 任晓娜;DNA计算中的编码设计优化算法[D];湖南大学;2010年
9 王琳;基于粒子群优化的数据流挖掘的聚类算法分析[D];长沙理工大学;2010年
10 刘铮;智能优化算法在电磁工程中的应用[D];南京理工大学;2005年
中国重要报纸全文数据库 前10条
1 上海市闵行电视台 技术总监 徐金树;MPLS/VPN城域网的搭建启示[N];通信产业报;2006年
2 ;博达BDCOM 2640路由器[N];网络世界;2003年
3 ;中兴:自身安全同样重要[N];中国计算机报;2004年
4 徐炯;边缘网络日趋完善[N];中国计算机报;2004年
5 于尚民;为何MSTP更受青睐?[N];通信产业报;2008年
6 郭利民;城域网中的二层保护技术[N];人民邮电;2002年
7 陈江生;浅谈2002年诺贝尔经济学奖[N];北京科技报;2002年
8 高雪娟;协同设计的平台策略[N];中国计算机报;2006年
9 周晨;中兴通讯在手机视频技术领域取得突破性进展[N];科技日报;2008年
10 晓燕;彰现科技奥运魅力 中兴通讯TD手机再现央视[N];福建科技报;2008年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978