求解非线性优化问题的非线性Lagrange方法

【摘要】：非线性Lagrange函数是经典的Lagrange函数的修正形式，它关于乘子向量或约束函数是非线性函数，基于非线性Lagrange函数建立的求解优化问题的对偶方法即为非线性Lagrange方法。由于对偶方法对原始变量的可行性没有限制，因此非线性Lagrange方法在求解约束优化问题中扮演着重要的角色。本论文主要研究求解具有不等式约束的非线性优化问题的两类非线性Lagrange函数与相应的对偶算法的收敛性。给出两大类非线性Lagrange方法的理论框架并在第二类非线性Lagrange方法中找到一从理论分析和数值计算上都比已有的方法优越的基于NCP函数而构造的新的非线性Lagrange方法。取得的主要结果可概括如下： 1．第2章建立了关于乘子是线性函数的一类非线性Lagrange方法的理论框架。首先，给出了若干假设条件以保证该类非线性Lagrange算法的收敛性，同时这些条件对于建立基于该类非线性Lagrange函数的对偶理论以及分析Lagrange函数Hesse阵的条件数都是必要的。收敛定理表明：当惩罚参数k大于某一阈值时，基于该类函数的对偶算法生成的原始-对偶点列是局部收敛的，且原始-对偶解的误差界与k~(-1)成正比。通过分析得到，该类非线性Lagrange函数的Hesse阵在最优点处的条件数与惩罚参数k成正比。其次，建立了基于该类Lagrange函数的对偶理论，包括对偶定理，对偶问题最优解的二阶充分性条件，鞍点定理以及用扰动函数来刻画的鞍点存在的充分条件。之后讨论了二阶乘子迭代方法的收敛性，证明了若问题函数的Hesse阵满足Lipschitz条件，则由二阶乘子迭代方法产生的序列具有二阶线性收敛速率。最后，通过数值实验验证了所给出的基于各个非线性Lagrange函数的对偶算法的有效性。 2．第3章建立了关于乘子是非线性函数的另一类非线性Lagrange方法的理论框架。首先，给出了若干假设条件以保证该类非线性Lagrange算法的收敛性，这些条件对于分析Lagrange函数Hesse阵的条件数以及建立相应的对偶理论都是必要的。验证了文献中已有的众多非线性Lagrange函数均满足这些条件。收敛定理表明：当Lagrange函数中的参数t小于某一阈值时，基于该类函数的对偶算法生成的原始-对偶点列是局部收敛的，且原始-对偶解的误差界与参数t成正比。通过分析得到，该类非线性Lagrange函数的Hesse阵在最优点处的条件数与t~(-1)成正比。其次，建立了基于该类Lagrange函数的对偶理论，包括对偶定理，对偶问题最优解的二阶充分性条件以及鞍点定理。最后，用基于该类非线性Lagrange函数建立的对偶算法计算了若干算例，报告了得到的数值结果。 3．第4章建立了一类基于NCP函数构造的非线性Lagrange方法的理论框架。包括一般性的假设以及在这些假设下的收敛性定理。证明了著名的经典增广Lagrange函数可以由极小值函数产生。由著名的Fischer-Bermeister函数可产生一个新的非线