最优化问题的记忆预测方法研究

【摘要】：本文主要研究最优化问题的记忆预测方法。全文共分四章。 第一章,主要介绍了最优化问题的记忆预测方法研究现状以及本文的主要研究成果。 第二章,考虑无约束最优化问题,Shi(2003)提出了一种新的记忆梯度法,并证明了其在精确线性搜索下的全局收敛性。精确一维搜索方法往往需要花费很大的工作量,特别是当迭代点远离问题的解时,精确地求解—个一维子问题通常不是十分有效的。本文修改了原算法中的参数,即在方向d_k中取β_k=((p‖gk‖~2)/(‖gk‖~2-σg_(k-1)~Td_(k-1))),并证明了新算法在强Wolfe准则下同样具有全局收敛性和线性收敛速率。 第三章,主要研究一种新的求解无约束最优化问题的记忆梯度法。该方法的主要特点是:(1)在每步迭代中,仅用到目标函数及其梯度的信息以及函数值信息,无须计算二阶导数以及矩阵,计算公式简单,比之其他优化算法具有尽可能少的存贮量和计算工作量,适合求解较大规模的优化问题。(2)搜索方向d_k中的参数β_k的形式虽然与共轭梯度法中Doxin公式相似,但新算法在强wolfe线性搜索下具有全局收敛性,而[16]中作者已证明在共轭梯度法中,β_k若采用Doxin公式,则强Wolfe线性搜索不能保证其具有全局收敛性。数值试验表明新算法是很有效的。 第四章,考虑无约束最优化问题,我们提出一种新的记忆预测方法。新算法在迭代过程中无需对步长进行线性搜索,仅需对算法中的一些参数进行预测估计,使算法具有全局收敛性,减少了目标函数以及梯度的迭代次数。从而降低了算法的计算量和存储量。此外,算法可利用当前和前面若干点的迭代信息来预测算法中参数的取值,从而改进算法的适应能力和鲁棒性(容错能力)。