共轭梯度型方法的进一步研究与改进

【摘要】：由于拥有简单的计算形式、较低的存储需求和较高的计算效率，非线性共轭梯度法已经成为求解大规模无约束优化问题的强有力工具，并在诸多领域得到了广泛应用。但是，为了提高计算效能和改进理论结果，我们可以将视线转向“共轭梯度型”方法。所谓“共轭梯度型”方法是在迭代格式上与经典共轭梯度法类似，但是在精确线搜索和目标函数严格凸的情况下无法退化为后者的一类方法。本论文在国内外研究成果的基础上进行深入思考，得到两种新的共轭梯度(型)方法： 1.推导出共轭梯度型方法的一种特殊迭代形式，该形式不仅在无任何线搜索下对任意β_k保证充分下降性，而且能在弱于以往分析所需的条件下得到良好的收敛结果。针对该方法，导出一系列与Polak-Ribiere-Polyak，Hestenes-Stiefel，Liu-Storey，Dai-Yuan，Conjugate-Descent等方法有关的理论结果。通过测试CUTEr函数库中大量的无约束优化问题，展现了该方法的有效性。 2.推导出一种特殊的搜索方向d_k，该方向对任意β_k均满足Dai和Liao的推广共轭条件；由于Dai-Liao方法无法保证下降性，故应用Powell的重开始策略克服这一困难，从而取得了理想的理论结果和数值表现。