求解无约束优化问题及非线性方程组的共轭梯度法

【摘要】：共轭梯度法具有迭代格式简单,存储量小等优点,是求解大规模无约束优化问题的常用方法.目前,共轭梯度法求解单调非线性方程组方面也受到了关注,并取得了一定的进展.在众多的共轭梯度法中,满足充分下降条件的充分下降共轭梯度法往往更为有效.本文重点研究这类方法,并用它们求解一般的非线性无约束优化问题和非线性方程组.从求解一般可微的无约束优化问题出发,讨论了一类充分下降共轭梯度法的统一框架,然后,将该框架下的共轭梯度法加以推广,用于求解带有凸约束的非线性方程组和不可微的无约束凸优化问题.所取得的研究成果主要有以下几点:1.在前人所做工作的基础上,研究求解一般无约束优化问题的一类充分下降共轭梯度法,且这类算法归属于一个统一的框架.首先,从理论上证明,该框架下的共轭梯度法满足充分下降条件,且在只要求步长满足弱Wolfe线搜索的条件下强收敛.其次,设计了该框架下的几个具体的下降方法,通过求解大规模的无约束优化测试问题,验证了这类算法的有效性.2.研究只利用梯度信息的共轭梯度法.通过将一个混合型Dai-Yuan共轭梯度法与Dong提出的一个实用的步长准则相结合,来求解可微的无约束优化问题所对应的驻点方程.该改进后的方法只利用了目标函数的梯度信息,避免了函数估值,提高了数值性能,为求解一般的非线性方程组提供了方便.理论证明得到了该改进方法的全局收敛性.数值试验表明,该方法既可以有效的求解一般的无约束优化问题,又可以有效的求解边界值问题,具有了更广泛的应用范围.3.将几个改进的基本共轭梯度法和混合型共轭梯度法与Dong提出的Armijo型线搜索相结合来求解可微的无约束优化问题所对应的驻点方程.通过CUTEr测试问题和边界值问题研究这些方法的数值行为.数值结果表明这些方法是有效的,并且可以求解那些只利用梯度信息的问题,混合型共轭梯度法比基本共轭梯度法更为有效.4.研究具有充分下降条件的共轭梯度法的两个一般框架.通过引入超平面投影方法,将这两个框架算法应用到具有凸约束的非线性单调方程组上.在一定条件下,证得这两类算法的全局收敛性.数值试验表明,这两个框架下的算法是有效的,并且可以用来求解大规模的不可微方程组.5.提出一类具有充分下降性质的共轭梯度法来求解不可微凸的无约束优化问题.这些方法是基于邻点算法和传统的共轭梯度法设计的,在一定条件下全局收敛.