收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

前馈神经网络参数和结构的优化策略研究

吕俊  
【摘要】:利用神经网络求解各种应用问题就是利用网络中神经元的协同并行计算能力将实际问题的优化解与神经网络的稳定状态相对应,把对实际问题的优化过程映射为神经网络系统的演化过程。但是随着应用问题的规模和复杂度越来越大,单一的优化算法效果往往不够理想,而且其性能改进程度有限。基于这种现状,算法混合的思想已经发展成为提高算法优化性能的一个重要且有效的途径,其出发点就是使各种单一算法相互取长补短,以产生更好的优化效率。通过这种方式可以大大提高神经网络解决实际问题的能力和效率。 本文系统地研究了前馈神经网络学习的误差反向传播算法、模拟退火算法和遗传算法,分析了它们各自的特点,并对这些算法的优化性能进行了分析和比较。给出了一种新型自适应递阶遗传算法(HGA)的实现形式,从而为解决长期以来无法同时对神经网络拓扑结构进行优化的问题提供了一个新思路。HGA模拟了自然界的生物结构和进化机制,具有很强的结构表示能力和全局寻优能力。由于其采用了二进制编码和浮点数编码相结合的混合编码方法,可以在对网络权重(包括节点阈值)优化求解的同时对神经网络的拓扑结构进行优化,具有较高的学习效率。而在遗传过程中采用自适应的交叉和变异概率能有效加快遗传速度和避免早熟现象的出现。数值仿真研究结果表明,HGA确实具有良好的优化性能。 此外,本文还对BP+SA和HGA+BP两种混合优化策略进行了系统研究。在BP+SA混合优化策略中,根据BP算法的梯度寻优和SA算法概率突跳的特点,采用以BP算法为主框架并在学习过程中引入SA策略,这样既利用了基于梯度下降的有指导学习来提高局部搜索性能,也利用了SA的概率突跳性来实现最终的全局收敛。在HGA+BP混合优化策略中,通过在HGA算法中融入BP操作可以在对网络结构进行优化的同时,充分利用GA的全局寻优能力在大范围内搜索可能的极值区域,并利用BP算法沿误差最速下降方向在极值点附近快速搜索,从而达到全局最优和快速搜索的有机结合。HGA+BP混合优化策略在网络的逼近精度、泛化能力和网络模型复杂度方面得到了满意的折衷。通过对混沌时序信号的预测,表明了混合优化策略在较大程度上改进了前馈神经网络的学习性能和泛化能力。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 蒋鹏;佘艳;;基于遗传算法的接驳转运车辆排程的分析研究[J];信息与电脑(理论版);2011年06期
2 丁立;;高校排课系统的设计与实现[J];电脑知识与技术;2011年18期
3 李伟;;遗传算法在智能组卷中的应用[J];中国城市经济;2011年11期
4 吴旻;陈长明;史哲;杜鹏;;遗传算法及其改进研究[J];湖北广播电视大学学报;2011年09期
5 杨治秋;;基于遗传算法的功能可重构数字体系研究[J];微计算机信息;2011年08期
6 赵鑫;王丞;;用遗传算法类库GAlib对遗传算法进行研究和应用[J];华章;2011年16期
7 陈红梅;朱若寒;;遗传算法研究现状与应用[J];科技信息;2011年18期
8 赵曦;李颖;;均匀设计在求解TSP问题中的应用[J];科学技术与工程;2011年16期
9 舒泽芳;;遗传算法在离散控制系统优化中的应用[J];自动化应用;2011年06期
10 邹荣;;供应链中订货模型的遗传算法[J];电脑知识与技术;2011年19期
11 排新颖;马善立;;一种改进的遗传算法及其应用[J];科学技术与工程;2011年20期
12 周瑞芬;;改进的遗传算法[J];企业技术开发;2011年11期
13 赵福玲;王永军;何绍林;聂贺峰;;遗传算法综合智能天线的赋形波束[J];电波科学学报;2011年03期
14 吴谋硕;;基于遗传算法的文本分类技术[J];电脑知识与技术;2011年22期
15 张艳格;;基于C的遗传算法在教务排课系统中的应用研究[J];硅谷;2011年17期
16 王文渊;王芳梅;;改进的最大熵算法在图像分割中的应用[J];计算机仿真;2011年08期
17 邵明珠;李伟峰;;基于遗传算法的组卷技术研究与实践[J];煤炭技术;2011年09期
18 原思聪;江祥奎;;基于GA-BP神经网络的双目摄像机标定[J];西安建筑科技大学学报(自然科学版);2011年04期
19 杨苏;;基于遗传算法在测试Web应用中的运用[J];中国科技信息;2011年17期
20 郑锐;冯振明;陆明泉;;基于遗传算法的无人机航路规划优化研究[J];计算机仿真;2011年06期
中国重要会议论文全文数据库 前10条
1 王凌;郑大钟;;一类批量可变流水线调度问题的研究[A];1998年中国控制会议论文集[C];1998年
2 李清生;王凌;郑大钟;;复杂函数的一种混合优化方法[A];2001中国控制与决策学术年会论文集[C];2001年
3 周海清;王恭先;陈正汉;;基于面向对象遗传算法的抗滑桩优化设计程序的研制[A];中国土木工程学会第九届土力学及岩土工程学术会议论文集(下册)[C];2003年
4 吴建生;金龙;;基于实数编码的遗传算法神经网络预报建模研究[A];推进气象科技创新加快气象事业发展——中国气象学会2004年年会论文集(下册)[C];2004年
5 申元霞;张翠芳;;GA-BP算法在系统辨识中的应用[A];中国自动化学会、中国仪器仪表学会2004年西南三省一市自动化与仪器仪表学术年会论文集[C];2004年
6 刘辙;彭亮;崔广才;吴学礼;;混合遗传算法在车间调度中的应用[A];中国自动化学会全国第九届自动化新技术学术交流会论文集[C];2004年
7 曹春红;李文辉;张永坚;;遗传蚂蚁算法在几何约束求解中的应用[A];中国仪器仪表学会第六届青年学术会议论文集[C];2004年
8 姜楠;张春森;;遗传算法在图像模板匹配中的应用[A];高精度几何量光电测量与校准技术研讨会论文集[C];2008年
9 朱秀娥;周宝焜;;振动筛设计的遗传算法[A];福建省科协第三届学术年会装备制造业专题学术年会论文集[C];2003年
10 何奉道;梁向阳;;基于遗传算法的机车周转图优化编制方法[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
中国博士学位论文全文数据库 前10条
1 张旭;具有拓扑结构布局优化的理论及算法[D];大连理工大学;2004年
2 廖平;基于遗传算法的形状误差计算研究[D];中南大学;2002年
3 周明;高新技术产业投资环境系统研究[D];西北工业大学;2006年
4 张需溥;小型化微带天线的设计与数值分析[D];上海大学;2004年
5 杨春成;空间数据挖掘中聚类分析算法的研究[D];解放军信息工程大学;2004年
6 方娟;基于移动代理的网格资源监控技术的研究[D];北京工业大学;2005年
7 崔晓芳;箱型结构焊接变形预测、控制及应用[D];大连交通大学;2005年
8 张材;薄带坯铸轧板形智能识别与控制系统研究[D];中南大学;2004年
9 田方;遗传算法的改进研究及其在压缩机性能分析与优化中的应用[D];东北大学;2006年
10 谷峰;柔性作业车间调度中的优化算法研究[D];中国科学技术大学;2006年
中国硕士学位论文全文数据库 前10条
1 朱奉梅;遗传算法在高校排课系统中的研究与应用[D];东北大学;2009年
2 孙晓丽;基于遗传算法的既有线平面及纵断面整正优化设计[D];中南大学;2010年
3 冯秋霞;解最小生成树问题的新的遗传算法[D];西安电子科技大学;2010年
4 郭佳;基于遗传算法的认知无线网络资源分配技术研究[D];西安电子科技大学;2010年
5 宋品;基于改进遗传算法的波束形成技术研究及其应用[D];西安电子科技大学;2010年
6 梁云静;基于遗传算法的主题爬虫搜索策略研究[D];湖北工业大学;2010年
7 高建兵;基于遗传算法的模糊推理控制系统的参数优化研究[D];辽宁工程技术大学;2011年
8 李振业;多向变异遗传算法及其优化神经网络的研究[D];华南理工大学;2011年
9 栾丽霞;遗传算法在潍坊商校排课系统的研究与应用[D];电子科技大学;2011年
10 王辉;基于改进遗传算法的物流配送路径优化研究[D];山东科技大学;2010年
中国重要报纸全文数据库 前10条
1 林京;《神经网络和遗传算法在水科学领域的应用》将面市[N];中国水利报;2002年
2 程爱娟;旅行推销员问题(TSP)的人工智能解法及其应用[N];新疆科技报(汉);2001年
3 中国科技大学计算机系 邢方亮;计算智能百花齐放[N];计算机世界;2003年
4 包家庆;IDS五大发展趋势[N];网络世界;2002年
5 郭明波;来自蝙蝠的启发[N];北京科技报;2001年
6 易水;IT新词集锦[N];计算机世界;2003年
7 高澜庆;矿山企盼智能化[N];中国矿业报;2000年
8 顾正华 唐洪武 肖洋 河海大学水利水电工程学院 李云 南京水利科学研究院水工研究所;水流智能模拟大步走来[N];中国水利报;2005年
9 李磊;让电子政务更聪明[N];计算机世界;2001年
10 记者 吴苡婷;用技术挖出网络信息中“金子”[N];上海科技报;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978