BP网络自适应学习率算法分析

【摘要】：人工神经网络(Artificial Neural Networks:ANN,简称神经网络)是一门新兴的交叉学科,是模拟生物神经网络的行为和特征,进行分布式并行信息处理的数学模型。近年来,神经网络取得了广泛的应用,其应用范围涵盖了模式识别、数据挖掘、金融预测等经济和生活中的众多领域,显示了巨大的发展潜力。 BP(Back Propagation)神经网络是一种按误差逆向传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。但是由于BP网络收敛速度慢、训练时间长,决定了该算法的时间消耗很大。所以为了改进BP网络的效果,人们提出了许多改进算法。其中,自适应学习率算法是一种简单而有效的改进办法。 自适应学习率算法可以有效的改进BP网络的收敛速度。但是对于同一问题,不同的自适应学习率算法的效果有很大差异。本文通过分析几种常见自适应学习率算法,从而给出不同算法的适用范围。