收藏本站
《中国科学技术大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

基于先验信息编码的约束学习算法研究

韩飞  
【摘要】:由于仅考虑希望的输入/输出信息而没有考虑网络的结构属性和所要解决问题的先验信息或约束条件,传统的基于梯度下降的反向传播算法及其诸多改进的算法都无法避免收敛速度慢、泛化性能差等缺陷。因此,将问题中所蕴涵的先验信息编码进学习算法的研究无疑是一个具有重要意义的研究方向,它能够使网络的训练有方向可循,而不会误入“歧途”,从而节省网络的学习时间并能提高网络的泛化能力。本文主要针对基于先验信息编码的约束学习算法这一主题来开展理论与应用研究,主要工作可以概括为以下几个方面: 1.提出了一类改进的耦合附加函数约束的学习算法,该类算法通过隐单元和输出单元激活函数的一阶或二阶微分信息构造附加的函数约束,并将它们耦合到算法的附加能量函数中去。该类算法能够同时降低输入输出映射灵敏度和惩罚训练中产生的连接权的高频分量,从而使该类算法提高网络的泛化性能和收敛速度。此外,本文还深入研究了隐层单元的附加约束和输出层单元的附加约束的不同组合、隐单元数目和算法中自由参数对网络泛化性能的影响。特别地,本文提出了将放大的梯度函数运用到以上约束算法中,使得算法收敛更快并能增大跳出局部极小点的可能性。最后将这些新算法用于解决时间序列预测问题,取得了较好的效果。 2.为了提高函数逼近精度和收敛速度,提出了三个约束学习算法。这三个逼近算法将从函数逼近问题中提取的先验知识耦合进约束算法中。先验信息耦合进算法中是通过两种方式来实现的,其一是以结构约束的方式来实现的,也就是根据泰勒定理可以将网络的输出表示成多项式的形式;其二是以连接权约束的形式来实现的,即根据微分中值定理求出函数一阶二阶导数近似估计值,再将导数信息表示成权值函数约束并耦合进网络的能量函数中去。与传统的前馈网络逼近算法相比,这三个算法具有收敛快、逼近误差小的特点。 3.根据早期非小细胞肺癌预后预测问题的特点,提出了极端学习机和主分量分析相结合的预测模型。由于充分利用了极端学习机和主分量分析的特点,该模型预测精度高、速度快,取得了传统医学方法无法比拟的效果。
【学位授予单位】:中国科学技术大学
【学位级别】:博士
【学位授予年份】:2006
【分类号】:TP301.6

【引证文献】
中国期刊全文数据库 前1条
1 李彬;李贻斌;;基于ELM学习算法的混沌时间序列预测[J];天津大学学报;2011年08期
中国重要会议论文全文数据库 前1条
1 李彬;李贻斌;荣学文;;激活函数可调的ELM学习算法及其应用[A];中国自动化学会控制理论专业委员会D卷[C];2011年
【参考文献】
中国期刊全文数据库 前10条
1 梁化楼,戴贵亮;人工神经网络与遗传算法的结合:进展及展望[J];电子学报;1995年10期
2 吴佑寿,赵明生,丁晓青;一种激励函数可调的新人工神经网络及应用[J];中国科学E辑:技术科学;1997年01期
3 吴佑寿,赵明生;激活函数可调的神经元模型及其有监督学习与应用[J];中国科学E辑:技术科学;2001年03期
4 黄德双,池哲儒;基于神经网络的递推分块方法求任意高阶多项式的根[J];中国科学E辑:技术科学;2003年12期
5 丛爽,向微;BP网络结构、参数及训练方法的设计与选择[J];计算机工程;2001年10期
6 张铃,张钹;前向神经网络设计问题的回顾与探索[J];计算机工程与科学;1998年04期
7 张鸿宾;有限超平面集对E~d的划分问题及其应用[J];计算机学报;1994年09期
8 何述东,瞿坦,黄献青,黄心汉;多层前向神经网络结构的研究进展[J];控制理论与应用;1998年03期
9 董聪,郦正能,夏人伟,何庆芝;多层前向网络研究进展及若干问题[J];力学进展;1995年02期
10 穆志纯;徐雪艳;闫铁梁;;利用双BP算法提高BP网络的泛化能力[J];模式识别与人工智能;1995年01期
【共引文献】
中国期刊全文数据库 前10条
1 薛开先,许林,马国建,吴建中,陈森清;体内淋巴细胞微核形成与肺癌个体易感性的研究[J];癌变.畸变.突变;2001年01期
2 梁学斌;;离散Hopfield神经网络的统一描述[J];安徽大学学报(自然科学版);1993年02期
3 段震,鲁杰,张铃;基于交叉覆盖神经网络的车牌识别研究[J];安徽大学学报(自然科学版);2004年05期
4 徐正光,范正平;7439例肿瘤患者临床流行病学分析[J];安徽预防医学杂志;2005年05期
5 谢文琴;金少华;贾尚春;谢建嵘;徐粒子;李建;;安徽省1996~2005年恶性肿瘤死亡率分析[J];安徽预防医学杂志;2007年02期
6 张慧群;晚期非小细胞肺癌生存期相关因素分析[J];安徽医学;2001年02期
7 赵玉魁,沈学明;食管癌锁骨上淋巴结转移的野中野加速超分割放射治疗[J];安徽医学;2005年01期
8 施开炯;时兰珍;;内镜下食管黏膜碘染色的临床价值[J];安徽医学;2007年05期
9 吴著群;胡建鹏;任慧慧;;中医药治疗肺癌的研究进展[J];安徽医药;2007年06期
10 夏黎明;肺癌的中医药治疗进展与思考[J];安徽中医学院学报;2005年02期
中国重要会议论文全文数据库 前10条
1 严传魁;王如彬;;基于汉密尔顿原理的神经元模型[A];第十三届全国非线性振动暨第十届全国非线性动力学和运动稳定性学术会议摘要集[C];2011年
2 Yu Kerwei;Yang Tsunlirng;;A Case Study of Yacht's Motions Represented by Using Stewart Platform[A];第二十七届中国控制会议论文集[C];2008年
3 ;Synthesis of Boolean Networks Via Semi-tensor Product[A];中国自动化学会控制理论专业委员会A卷[C];2011年
4 董聪;江见鲸;;结构智能健康诊断研究与进展[A];第十二届全国结构工程学术会议论文集第Ⅲ册[C];2003年
5 肖瑛;李振兴;刘国枝;张琳波;;双模式神经网络盲均衡算法研究[A];第十二届全国信号处理学术年会(CCSP-2005)论文集[C];2005年
6 ;Joint inversion of seismic data for acoustic impedance[A];中国科学院地质与地球物理研究所二○○四学术论文汇编·第一卷(地球深部)[C];2004年
7 李强;;前向神经网络的复合遗传算法可调参数优化学习算法[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
8 杨誉佳;孙丽君;;遵义市部分妇女宫颈H严V感染调查[A];第二届西部地区(12省区)妇产科学术会议论文汇编[C];2006年
9 倪然;吴逸明;;人工神经网络技术与肿瘤标志联合检测在肺癌预警中的应用[A];中国环境诱变剂学会致癌专业委员会09年学术会议论文汇编[C];2009年
10 孙喜斌;刘志才;刘曙正;李变云;戴涤新;全培良;程兰平;陆建邦;;河南省林州市人群食管癌、胃癌发病水平及时间趋势描述[A];中南地区食管癌综合治疗研讨会暨河南省第二届食管癌学术会议资料汇编[C];2007年
中国博士学位论文全文数据库 前10条
1 孙明;基于小波和迟滞的混沌神经网络及其应用[D];哈尔滨工程大学;2010年
2 冯麟涵;舰船系统抗冲击性能全局优化方法研究[D];哈尔滨工程大学;2009年
3 李桃迎;交通领域中的聚类分析方法研究[D];大连海事大学;2010年
4 郑大腾;柔性坐标测量机空间误差模型及最佳测量区研究[D];合肥工业大学;2010年
5 朱松;随机回归神经网络的动力学行为研究[D];华中科技大学;2010年
6 李小兰;HAX-1在人结直肠癌中的表达及其对人结直肠癌细胞周期和细胞凋亡影响的研究[D];华中科技大学;2010年
7 张昌明;新疆汉族、维吾尔族及哈萨克族食管癌血清蛋白质指纹图谱研究[D];新疆医科大学;2010年
8 陈冠豪;黄芪注射液对肺癌小鼠模型作用机制初探[D];山东中医药大学;2010年
9 柴园园;普适的模糊推理系统理论及应用[D];北京交通大学;2011年
10 许伟;基于进化算法的复杂化工过程智能建模方法及其应用[D];华东理工大学;2011年
中国硕士学位论文全文数据库 前10条
1 李连昌;新安煤田二_1煤层煤与瓦斯突出危险程度预测[D];河南理工大学;2010年
2 罗婷婷;飞机钣金叠板数控套裁下料软件系统的研究[D];南昌航空大学;2010年
3 徐小任;基于BP神经网络的城镇网络地价评估模型研究[D];广西师范学院;2010年
4 程慧;基于神经网络的两类问题研究[D];广西师范学院;2010年
5 吴家瑞;服装产品加工成本快速估算方法研究[D];浙江理工大学;2010年
6 王捷;数字图像边缘检测方法的若干改进与应用研究[D];浙江理工大学;2010年
7 娄清涛;河南省常见恶性肿瘤死亡率趋势面分析[D];郑州大学;2010年
8 雷明杰;神经网络和遗传算法在中厚板轧机中的应用研究[D];郑州大学;2010年
9 张华杰;模糊神经网络在肺癌诊断中的应用[D];郑州大学;2010年
10 赵振霞;基于神经网络的节水灌溉适宜技术优选模型研究及系统开发[D];山东农业大学;2010年
【同被引文献】
中国期刊全文数据库 前3条
1 李冬梅;王正欧;;基于RBF神经网络的混沌时间序列预测[J];模式识别与人工智能;2001年02期
2 李彬;赖晓平;;改进的GGAP—RBF算法及其在函数逼近中的应用[J];模式识别与人工智能;2007年02期
3 郁俊莉;基于混沌时间序列的非线性动态系统神经网络建模与预测[J];武汉大学学报(理学版);2005年03期
中国硕士学位论文全文数据库 前1条
1 李彬;径向基函数神经网络的学习算法研究[D];山东大学;2005年
【二级引证文献】
中国期刊全文数据库 前3条
1 陈立军;孙凯;侯媛媛;海冉冉;;基于极限学习机的汽轮机故障诊断[J];化工自动化及仪表;2013年04期
2 李海滨;王博华;张志强;刘爽;李延树;;一类非线性相对转动系统的组合共振分岔与混沌[J];物理学报;2012年09期
3 丁金林;王峰;孙洪;刘国海;;改进RELM在多变量解耦控制中的应用[J];微电子学与计算机;2012年11期
中国博士学位论文全文数据库 前1条
1 李彬;视觉地形分类和四足机器人步态规划方法研究与应用[D];山东大学;2012年
【二级参考文献】
中国期刊全文数据库 前10条
1 徐雪艳,穆志纯,汪朝霞,郭丽斌;神经网络在梯度功能材料制备中的应用[J];北京科技大学学报;1994年05期
2 吴佑寿;利用输入信号先验知识构造某些分类神经网络的研究[J];中国科学E辑:技术科学;1996年02期
3 吴佑寿,赵明生,丁晓青;一种激励函数可调的新人工神经网络及应用[J];中国科学E辑:技术科学;1997年01期
4 高雪鹏,丛爽;BP网络改进算法的性能对比研究[J];控制与决策;2001年02期
5 王继成,蔡义发,吕维雪;一种自动生成神经网络结构的新方法[J];自动化学报;1996年01期
6 张铃,吴福朝,张钹,韩玫;多层前馈神经网络的学习和综合算法[J];软件学报;1995年07期
7 张铃,张钹;M-P神经元模型的几何意义及其应用[J];软件学报;1998年05期
8 陈大庆,周凤歧;人工神经元网络及其在系统仿真中的应用[J];系统仿真学报;1992年02期
9 许进,焦李成,保铮;神经网络与图论[J];系统工程与电子技术;1995年05期
10 丛爽;典型人工神经网络的结构、功能及其在智能系统中的应用[J];信息与控制;2001年02期
【相似文献】
中国期刊全文数据库 前10条
1 陈小平;赵鹤鸣;杨新艳;;遗传前馈神经网络在函数逼近中的应用[J];计算机工程;2008年20期
2 刘永;张立毅;;BP和RBF神经网络的实现及其性能比较[J];电子测量技术;2007年04期
3 钟慧玲;李鸿洁;李冰;;基于PSO的BP训练算法[J];计算机工程与设计;2007年17期
4 高宪军;;船舶仿生设计分析[J];华商;2007年Z3期
5 胡建波;向前;;基于一种混合神经网络的船舶设计[J];计算机与信息技术;2005年10期
6 郭聪莉;朱莉;;一种基于PSO的BP神经网络训练方法[J];计算机与信息技术;2007年Z1期
7 杨妍;陈如清;俞金寿;;差分进化粒子群混合优化算法的研究与应用[J];计算机工程与应用;2010年25期
8 肖力;;BP学习算法及其收敛速度的改进[J];阴山学刊(自然科学版);2003年01期
9 穆阿华,周绍磊,刘青志,徐进;利用遗传算法改进BP学习算法[J];计算机仿真;2005年02期
10 夏战国;王珂;王志晓;;基于网络复杂性的BP算法[J];计算机工程与设计;2008年15期
中国重要会议论文全文数据库 前10条
1 骆再飞;管冰蕾;周世官;;基于混合粒子群优化的神经网络学习算法[A];2009中国控制与决策会议论文集(2)[C];2009年
2 王科俊;金鸿章;李国斌;;综合反向传播算法[A];西部大开发 科教先行与可持续发展——中国科协2000年学术年会文集[C];2000年
3 刘永;张立毅;;BP和RBF神经网络的MATLAB实现及其性能比较[A];2006全国复杂网络学术会议论文集[C];2006年
4 宋宜斌;王培进;李凯里;;多层前馈神经网络中BP算法的改进及其应用研究[A];2001年中国智能自动化会议论文集(上册)[C];2001年
5 李永敏;吉吟东;朱善君;孙增圻;;一种基于规则的前馈神经网络及其学习算法[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
6 梁循;杜继宏;夏绍玮;杨振斌;;前馈神经网络的补偿方法[A];1994年中国控制会议论文集[C];1994年
7 江善和;王其申;江巨浪;;一种速度差分变异的粒子群优化算法[A];2009中国控制与决策会议论文集(2)[C];2009年
8 陈振湘;陈剑勇;徐慎初;钟金水;;具有刺激-反应阈值的前馈神经网络[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
9 孙标;冯浩;刘国安;;前馈神经网络的增广PIDBP学习算法[A];全国冶金企业计控网络化研讨会论文集[C];2003年
10 徐耀群;刘健;张莉;;一种混沌学习算法及应用[A];2003中国控制与决策学术年会论文集[C];2003年
中国重要报纸全文数据库 前10条
1 上海市闵行电视台 技术总监 徐金树;MPLS/VPN城域网的搭建启示[N];通信产业报;2006年
2 ;博达BDCOM 2640路由器[N];网络世界;2003年
3 ;中兴:自身安全同样重要[N];中国计算机报;2004年
4 徐炯;边缘网络日趋完善[N];中国计算机报;2004年
5 于尚民;为何MSTP更受青睐?[N];通信产业报;2008年
6 郭利民;城域网中的二层保护技术[N];人民邮电;2002年
7 陈江生;浅谈2002年诺贝尔经济学奖[N];北京科技报;2002年
8 高雪娟;协同设计的平台策略[N];中国计算机报;2006年
9 周晨;中兴通讯在手机视频技术领域取得突破性进展[N];科技日报;2008年
10 晓燕;彰现科技奥运魅力 中兴通讯TD手机再现央视[N];福建科技报;2008年
中国博士学位论文全文数据库 前10条
1 韩飞;基于先验信息编码的约束学习算法研究[D];中国科学技术大学;2006年
2 侯木舟;基于构造型前馈神经网络的函数逼近与应用[D];中南大学;2009年
3 王健;前馈神经网络梯度学习算法收敛性分析[D];大连理工大学;2012年
4 窦全胜;求解优化问题的演化计算方法研究[D];吉林大学;2005年
5 刘丽;人工免疫网络研究及应用[D];江南大学;2008年
6 李磊;六自由度并联平台位置正解及控制方法研究[D];哈尔滨工程大学;2008年
7 陈自郁;粒子群优化的邻居拓扑结构和算法改进研究[D];重庆大学;2009年
8 马瑞新;基于粒子群的网络社区动态角色挖掘研究[D];大连理工大学;2012年
9 张军;先验信息整合的压缩感知理论及其应用研究[D];华南理工大学;2012年
10 杨光友;混合粒子群优化及其在嵌入式智能控制中的应用[D];武汉理工大学;2006年
中国硕士学位论文全文数据库 前10条
1 贾琨钰;用于前馈神经网络的一种反向传播算法的改进[D];大连理工大学;2010年
2 李涛;基于SVM和PSO的非线性模型预测控制及应用研究[D];上海交通大学;2008年
3 田军;基于PSO的神经网络模型在股价预测上的研究及应用[D];新疆大学;2008年
4 雷烨;基于粒子群最小二乘支持向量机的故障诊断算法研究[D];兰州交通大学;2010年
5 姚杰;基于PSO混沌神经网络电力系统负荷预测[D];大庆石油学院;2009年
6 马培培;基于粒子群的图像阈值化分割的研究及应用[D];合肥工业大学;2010年
7 刘杨;粒子群优化算法在电力系统无功优化中的应用[D];天津大学;2005年
8 任晓娜;DNA计算中的编码设计优化算法[D];湖南大学;2010年
9 王琳;基于粒子群优化的数据流挖掘的聚类算法分析[D];长沙理工大学;2010年
10 刘铮;智能优化算法在电磁工程中的应用[D];南京理工大学;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026