过滤技术和非单调技术在数值优化问题中的结合与应用

【摘要】：线搜索方法和信赖域方法是解最优化问题的两类最基本的算法框架，求解线搜索方向和信赖域子问题分别是其关键的组成部分之一，另一个关键点自然就是框架本身了。本文中，我们主要着眼于算法框架的改进上，引入了过滤(Filter)技术和非单调技术等改进策略，并将其应用于几类典型的优化问题中。从理论上对这些改进后的算法框架进行收敛性分析，并用数值试验检验了改进的效果。 第2章中，我们主要考虑过滤技术在无约束优化问题中的应用，并采用信赖域方法作为基本算法。参照[39]中利用梯度向量来定义过滤集的方法，而对其中的算法框架进行了一些改进，去除了[39]中关于信赖域子问题凸性的判断，对简化后的算法框架证明了全局收敛性，并在一定条件下证明了算法收敛到二阶稳定点。其后，我们报告了用过滤信赖域方法解无约束优化问题数值试验的结果。表明该算法框架相比于经典信赖域框架在效率上有所改进。 第3章中，我们研究了非单调技术在解非线性最小二乘问题上的应用。采用线搜索方法的具体实现Gauss-Newton法作为基本算法。非单调线搜索技术的理论框架是由[41]给出，其中对搜索方向有一定的限制要求。本章中对Gauss-Newton法应用截断(truncate)技巧以使搜索方向满足这些要求，并对截断技巧作了一些改进。如此，就可以用[41]中的经典结果来获得本章算法的收敛性。在本章的最后报告了相关数值试验结果。 第4章研究的是过滤技术在解非线性方程组问题中的应用，仍然沿用传统的办法将非线性方程组问题转化成一个非线性最小二乘问题，并用Gauss-Newton法来求解。其中求线搜索方向时，同样应用了截断Gauss-Newton法的技巧。另一方面，参照[37]中的方案定义了多维过滤集。在经典文献[57]中关于线搜索算法的理论结果的基础上，我们证明了过滤截断Gauss-Newton法满足[57]中收敛性定理的条件，从而得到了过滤截断Gauss-Newton法的整体收敛性。 第5章研究了非单调技术在等式约束优化问题中的应用。在此，我们采用经典罚函数算法作为基本算法框架，并将非单调信赖域技术应用到其中的无约束优化子问题上。此时出现的信赖域子问题的条件一般是比较差的。我们使用了两个技术来处理这个困难。其一是预条件技术，并根据问题的特殊性来选择特定形式的预优矩阵；其二是迭代更新技术，从而可以给出比较干脆利落的预优