大规模非线性方程组和无约束优化方法研究

【摘要】：非线性优化是运筹学的一个重要分支,而非线性优化问题的求解又和非线性方程组的求解密切相连.本文对大规模非线性方程组的牛顿法、大规模非线性最优化的非单调有限储存方法及二次插值模型直接搜索法等作了系统的研究,获得了系列的研究结果.整篇论文文分三个部分,共八章. 第一章是绪论,讨论了本文的研究目的、意义、研究现状和主要研究内容. 第二章是预备知识,讨论了求解非线性方程组的牛顿法、不精确牛顿法及一些改进牛顿法;求解大规模无约束最优化的截断牛顿法、信赖域牛顿法及非线性共轭梯度法;还讨论了直接搜索法的起源及其发展,介绍了单纯型法、模式搜索法、线性搜索法等一些直接搜索法. 第三章对非线性方程组的雅可比矩阵的结构进行了研究,提出了一个部分利用雅可比矩阵信息的不完全牛顿法,证明了这种算法的局部线性、超线性、平方收敛性定理,并对适合不完全牛顿法的特殊问题作了详细的讨论和分析,对设计的一些算例进行了数值试验,试验结果表明新算法能够有效求解雅可比矩阵稠密且满足某些特殊性质的大规模非线性方程组. 第四章先对求解大规模无约束的有限储存方法作了介绍,然后重点研究了非单调线搜索下的有限储存算法,得到了两个非单调线搜索有限储存拟牛顿法,给出和证明了算法的收敛性定理,利用标准的试验函数对两个算法进行了大量的数值试验,试验结果表明这两个算法是非常有效的. 本文第五至七章研究了二次插值模型直接搜索法的算法和理论.第五章首先介绍了二次插值模型直接搜索算法的发展概况,然后在一种新的插值点集合几何充分下,给出了一类新的Lagrange二次插值模型直接算法,证明了这类新算法全局收敛到问题的一阶稳定点. 第六章提出了一种可以减少代数运算并适应较大规模问题的二次三对角插值模型算法,对二次三对角插值模型算法与一般二次插值模型算法的数值结果进行了比较,并对二次三对角插值模型算法的收敛性进行了分析,证明了算法的整体收敛性. 第七章研究了Lagrange二次插值模型直接搜索法的参数分析,这些参数包括初始插值半径、信赖域初始半径、位移接受准则及信赖域半径调节参数,通过对二十个标准问题超过61万次的数值试验,得到了算法对于信赖域初始半径较为敏感,而对其他的参数不敏感的结论.数值试验表明初始插值半径应该与信赖域初始半径相同,通过大量数值试验给出了初始信赖域半径的选择范围及其他参数的推荐值.这些推荐值对工程上使用二次插值模型法是有益的. 最后,我们对本文中所提出的算法作了总结,并提出了一些值得进一步研究的问题.