具有超线性收敛性质的一类广义拟牛顿算法

【摘要】：拟牛顿算法是求解最优化问题的常用方法,拟牛顿算法的构造基于所谓的拟牛顿方程。传统的拟牛顿方程只利用了目标函数的梯度信息而未使用目标函数值的信息,这无疑是对信息资源的浪费。 本文提出了一种广义拟牛顿方程,新方程不仅利用到了目标函数的梯度信息,而且用到了目标函数值的信息。在此基础上推导出了一族广义拟牛顿校正公式,并给出了相应的广义拟牛顿算法。新算法是伪拟牛顿算法和拟牛顿算法的组合,具有很强的广泛性,它不仅包含了 Zhang 和焦宝聪提出的算法,还使得著名的 Broyden 族成为它的一种特殊形式。 本文证明了新的广义拟牛顿算法只需选取充分小的ε 就能保证迭代序列具有对称正定性以及在精确搜索下的线性不变性。当目标函数为二次函数时,算法具有方向共扼性和二次终止性。另外,本文还证明了在较弱的条件下算法具有整体收敛性和局部超线收敛性。 数值实验结果表明新算法不仅可行而且效果较好。较为有趣的是,我们从另一个角度验证了这么一个事实:BFGS 方法的确是到目前为止最有效的算法之一。