收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

共轭梯度法的收敛性研究

陈禹  
【摘要】:最优化方法是运筹学的一个重要组成部分,在自然科学、社会科学、生产实际、工程设计和现代化管理中具有广泛的应用.很多实际问题都可以归结为最优化的问题来解决,最优化问题的一个核心是设计有效的算法.最优化问题根据函数的具体性质和复杂程度,可以分为很多不同的类型。根据决策变量的取值是离散的还是连续的可以分为离散最优化和连续最优化。根据模型所有函数是否连续可微,可以分为光滑最优化和非光滑最优化。根据所有函数的变量是否为线性函数可分为线性最优化和非线性最优化。无约束优化问题是最优化问题的基础,通常采用迭代法求它的最优解.求解无约束优化问题的常用算法包括最速下降法、牛顿法、拟牛顿法、共轭梯度法等.最速下降法具有存储量小,结构简单,易于实现的优点,具有良好的全局收敛性,但最速下降法收敛速度很慢,理论上只具有线性的局部收敛速度.牛顿法因其局部收敛速度快等优点而受到广泛关注,并且它具有二阶收敛速度,这使得该算法应用很广泛.然而,牛顿法需要计算目标函数的二阶导数矩阵,当Hesse矩阵▽f2(xk)奇异时,牛顿方向可能不存在,或者存在但不是f(x)在xk处的下降方向.拟牛顿法克服了牛顿法的这一缺陷,它只需计算目标函数的一阶导数,而且大多数拟牛顿法是下降算法,具有良好的全局收敛性和超线性收敛速度.由于拟牛顿法的这一优点,使得该算法成为颇受欢迎的算法.但拟牛顿法在每次迭代过程中都需要存储一个矩阵,而且确定下降方向需要求解一个线性方程组,并且该方程组的系数矩阵一般是稠密的,所以该类算法不适合求解大规模问题.共轭梯度法很好的解决了最速下降法和牛顿法的缺点,它只需要利用一阶导数的信息,就可以避免牛顿法要计算Hesse矩阵并求逆的繁琐,也解决了最速下降法下降速度慢的缺陷,因此,这是一种很受广大研究者欢迎的方法,也是求解大型最优化问题最有效的问题之一。 共轭梯度法最早是由Hestenes(?)口Stiefel于1952年在求解线性方程组时提出的,并由Fletcher和Reeves于1964年推广到非线性优化领域.随后,Beale, Powell, Fletcher等著名的优化专家对非线性共轭梯度法进行了深入研究,取得了十分丰富的成果.但几乎同时问世的拟牛顿方法由于其良好的计算表现以及快速的收敛性质很快受到了人们的青睐,从而在很长一段时间里共轭梯度法被研究者所忽视.近年来,随着计算机的飞速发展以及实际问题的需要,大规模优化问题越来越受到重视,而共轭梯度法正是求解大规模问题的一种主要方法.于是,共轭梯度法的理论研究又受到人们的关注.近年来,Nocedal、Gilbert、 Nazareth、storey、A-Baali、Dai、Yuan、Wang和Wei等中外学者对共轭梯度法继续不断地深入研究,在收敛性方面得到了不少新结果,使得共轭梯度法在理论和应用上的发展日趋进步。但由于各种决定步长因子大小的线搜索和搜索方向的不同组合,使得共轭梯度法仍然是一个非常值得研究的方向。在实际问题中,非线性共轭梯度法无论在科学、工程、经济和管理系统中,还是在政府决策、生产管理、交通运输和军事国防等方面都得到了广泛的应用. 本文在共轭梯度法已有成果的基础上,对共轭梯度法进行了一些探讨,提出了几种新的共轭梯度法,并获得了一些收敛性结果.其主要内容如下: 第一章介绍了无约束最优化问题的相关概念,以及几种常见的求解无约束最优化问题的方法,并介绍了本文的主要工作. 第二章对近年来国内外备受关注的非线性共轭梯度算法研究的现状进行了总结和归纳. 第三章在根据文献中βk得出一个新的βk的取值方法,结合文献中张秀军给出的一种新的线搜索构成一种新的方法,并给出充分下降性和收敛性的证明. 第四章给出了一类求解无约束优化问题的共轭梯度法,在文献中提出的新的线搜索下给出了新算法的充分下降性和全局收敛性证明;本章第二节给出新的共轭梯度法充分下降性的证明,对共轭梯度法来说充分下降性是一个非常重要的性质,它对于保证算法的全局收敛性有很好的作用;第三节给出了这类新的共轭梯度法的全局收敛性证明. 第五章根据文献得到一个新的βk的取值,并和文献中的一种新的线搜索方法结合成一种新的混合算法,并给出充分下降性和收敛性的证明.


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 杜守强,陈元媛;一类在新的线搜索下的共轭梯度法[J];滨州师专学报;2002年04期
2 林穗华;黄海;;一个双参数的共轭梯度法簇[J];西南师范大学学报(自然科学版);2007年06期
3 孙中波;段复建;;一个充分下降的共轭梯度法[J];桂林电子科技大学学报;2008年05期
4 洪玲;莫利柳;韦增欣;;一个改进的共轭梯度法及其收敛性(英文)[J];数学研究与评论;2009年01期
5 洪玲;莫利柳;陶艳蓉;;具有充分下降性的共轭梯度法及其收敛性[J];福州大学学报(自然科学版);2009年01期
6 刘东毅;邵琛;;下降对称的Polak-Ribiere-Polyak共轭梯度法[J];天津大学学报;2010年04期
7 邓小红;韦增欣;;一个有充分下降性的共轭梯度法[J];重庆理工大学学报(自然科学版);2010年06期
8 莫利柳;;一类新型的杂交共轭梯度法[J];西南大学学报(自然科学版);2010年09期
9 孟姗姗;熊丽涢;廖月红;;非精确线搜索下一类新的混合共轭梯度法研究[J];河池学院学报;2011年02期
10 朱铁锋;刘雪英;;对共轭梯度法中标量β_k的一种修正[J];内蒙古工业大学学报(自然科学版);2011年02期
11 薛凌霄;鄢智强;陈绩馨;简薇薇;叶海;;基于共轭梯度法的小生境混合遗传算法[J];福建农林大学学报(自然科学版);2011年05期
12 魏志强;张愿章;;复共轭梯度法的结构[J];哈尔滨理工大学学报;2012年04期
13 林穗华;;一类下降的谱共轭梯度法[J];广西民族师范学院学报;2013年03期
14 陈龙卫;夏福全;贾朝勇;;一类充分下降的谱共轭梯度法[J];重庆师范大学学报(自然科学版);2013年04期
15 王开荣;王书敏;;具有充分下降性的修正型混合共轭梯度法[J];山东大学学报(理学版);2013年09期
16 邓乃扬,陈志;一个采用新重新开始策略的共轭梯度法[J];北京工业大学学报;1982年03期
17 胡家赣,王邦荣,陈创飞,刘兴平;予条件共轭梯度法的收敛性[J];计算物理;1986年04期
18 肖衍明,C.M.Butler,沈晓阳;共轭梯度法应用于解电磁场的散射和辐射问题[J];西安交通大学学报;1987年03期
19 郭建;;修正共轭梯度法的不变性及收敛性[J];运筹学杂志;1987年01期
20 王宇平,游兆永;广义共轭梯度法及收敛条件[J];工程数学学报;1993年03期
中国重要会议论文全文数据库 前10条
1 姚馨;倪勤;;解大规模优化问题的锥模型共轭梯度法[A];中国运筹学会第十届学术交流会论文集[C];2010年
2 孙树立;陈璞;;求解多右端向量方程组的块共轭梯度法及其相关研究进展[A];计算爆炸力学进展[C];2006年
3 霍伟娜;倪勤;;一个新的条件预优共轭梯度法[A];中国运筹学会第十届学术交流会论文集[C];2010年
4 王川龙;朱金香;;非单调混合共轭梯度法[A];管理科学与系统科学进展——全国青年管理科学与系统科学论文集(第4卷)[C];1997年
5 陈珑;刘兴高;;一种基于PRP共轭梯度法的新型动态优化方法及其应用[A];PCC2009—第20届中国过程控制会议论文集[C];2009年
6 李梅霞;王长钰;刘茜;;带扰动项的FR共轭梯度法[A];2006年中国运筹学会数学规划分会代表会议暨第六届学术会议论文集[C];2006年
7 王晨;张秀军;徐安农;;一类共轭梯度法的全局收敛性[A];第八届中国青年运筹信息管理学者大会论文集[C];2006年
8 陈璞;肖梃松;孙树立;袁明武;;预条件共轭梯度法的实现以及一些改进[A];第七届全国结构工程学术会议论文集(第Ⅰ卷)[C];1998年
9 连淑君;王长钰;;在Armijo型线搜索下共轭梯度法簇的全局收敛性[A];中国运筹学会第七届学术交流会论文集(上卷)[C];2004年
10 支希哲;孟光;徐松平;;多级隔振系统优化设计的共轭梯度法[A];数学·物理·力学·高新技术研究进展(一九九六·第六期)——中国数学力学物理学高新技术交叉研究会第6届学术研讨会论文集[C];1996年
中国博士学位论文全文数据库 前3条
1 邓松海;若干新型谱共轭梯度算法及应用研究[D];中南大学;2013年
2 戴志锋;非线性共轭梯度法与鲁棒最优投资组合[D];湖南大学;2013年
3 钟萍;Newton-PCG型算法的效率分析[D];中国农业大学;2002年
中国硕士学位论文全文数据库 前10条
1 郑丽;几种共轭梯度法的研究[D];重庆大学;2009年
2 邓小红;一类新型的杂交共轭梯度法[D];广西大学;2007年
3 姚馨;解大规模优化问题的锥模型共轭梯度法[D];南京航空航天大学;2010年
4 张颖;有关共轭梯度法的一些研究[D];大连理工大学;2012年
5 杨瑞;两种修正的共轭梯度法及其全局收敛性分析[D];渤海大学;2012年
6 张元园;共轭梯度法的改进[D];西南大学;2012年
7 陈禹;共轭梯度法的收敛性研究[D];长江大学;2012年
8 平国庆;一种新的非精确线搜索下的共轭梯度法[D];首都师范大学;2006年
9 段秋枫;共轭梯度法的研究[D];南京理工大学;2006年
10 徐畅;一类共轭梯度法的研究[D];南京航空航天大学;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978