收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

一类凸优化问题的随机下降算法及其应用

张艳娜  
【摘要】:近年来,最优化问题的研究和发展得到了广泛的关注.随着大数据时代的到来,源于工程、信息、生物等很多应用问题中,所求模型可以被归纳为等式约束优化问题.由于目标函数可能非光滑、问题规模又特别巨大,传统的内点算法等往往不适合,这些问题可以使用增广拉格朗日算法或者ADMM算法等一阶算法求解更为适合.其中,ADMM算法利用目标函数关于两块变量的可分性,把一个规模较大的子问题转化为两个规模较小的子问题求解,大大简化了子问题的计算量.由于这些问题的重要应用价值,近十几年,学者们提出了一系列ADMM的改进算法.其中,ADMM下降算法(DADMM)可以在保持每步计算量基本不变的前提下,通过对部分变量进行延拓,提高了ADMM的收敛速度.另一方面,有学者提出利用随机步长加快投影收缩算法的收敛速度.本文在ADMM下降算法的基础之上,结合了随机步长的思想,提出了随机步长ADMM下降算法(RDADMM),进一步提高了收敛速度.同时,针对目标函数具有特殊结构的情形,有学者提出了线性化ADMM算法,利用目标函数的结构,通过对ADMM子问题进行线性化等改造使其有显式解,简化了子问题求解.基于此算法,又有学者将线性化ADMM算法和ADMM下降算法相结合,提出了线性化ADMM下降算法,在保持子问题有显式解的前提之下提升了线性化ADMM算法的收敛速度.本文结合随机步长思想,提出了随机步长的线性化ADMM下降算法(RDLADMM).通过求解带等式约束的二次规划数值实验,新算法的计算效率得到了验证.本文具体研究内容安排如下:第一章,主要介绍了选题背景和研究意义,以及ADMM算法的国内外研究现状,并阐述了本文的主要工作.第二章,介绍本文的研究成果.针对求解带有两块变量的结构型凸优化问题,我们提出了两种新算法,即RDADMM算法和RDLADMM算法.第三章,给出了本文新算法的收敛性分析和证明.第四章,证明了本文新算法收敛速率为O(1/t).第五章,数值实验.将RDADMM算法应用于求解带有两块变量结构型凸优化问题,验证其计算效率.第六章,对本文的研究进行总结和展望.


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 孟志青;目标规划的一种下降算法[J];湘潭大学自然科学学报;1992年02期
2 吴士泉;;基于正基的下降算法及其收敛性质[J];曲阜师范大学学报(自然科学版);1988年04期
3 施光燕,董群明;不光滑凸函数的下降算法[J];大连理工大学学报;1989年03期
4 徐海文;孙黎明;;一类凸优化的加速混合下降算法[J];计算数学;2017年02期
5 徐海文;孙黎明;;一类半正定变分不等式的随机下降算法[J];南京师大学报(自然科学版);2017年01期
6 徐海文;;一类凸优化的混合下降算法[J];计算数学;2012年01期
7 王柏岩,欧志英,严克明;一族共扼下降算法的全局收敛性[J];甘肃工业大学学报;2001年04期
8 费景高;轨道优化实时计算的梯度投影下降算法——防空导弹轨道优化的实时计算方法之二[J];现代防御技术;2004年05期
9 马昌凤,熊令纯;求解无约束最优化问题的一类新共轭下降算法[J];长沙电力学院学报(自然科学版);2001年03期
10 刘琳;杨丽芳;;基于随机加速对偶下降算法的分布式网络流量优化[J];重庆邮电大学学报(自然科学版);2014年06期
11 王宜举,王长钰;求解非线性互补问题的一个下降算法(英文)[J];运筹学学报;2001年04期
12 唐立新,吴亚萍;混合流水车间调度的遗传下降算法[J];自动化学报;2002年04期
13 焦宝聪,陈兰平;一类新共轭下降算法的全局收敛性[J];数学的实践与认识;1998年03期
14 陈振宏;兰艳艳;郭嘉丰;程学旗;;基于差异合并的分布式随机梯度下降算法[J];计算机学报;2015年10期
15 陶卿;罗强;朱烨雷;储德军;;大规模SVDD的坐标下降算法[J];模式识别与人工智能;2012年06期
16 王春杰;;一类下降算法的全局收敛性[J];科技创新导报;2008年27期
17 章卫平;;离散L_1逼近的一个新的下降算法[J];北京邮电学院学报;1992年02期
18 吴卫邦;朱烨雷;陶卿;;一种非光滑损失坐标下降算法[J];计算机应用研究;2012年10期
19 姚健康;;线性l_1问题的基点下降算法[J];科学技术与工程;2007年14期
20 薛毅,杨中华;求解minimax优化问题的下降算法[J];北京工业大学学报;2001年03期
中国重要会议论文全文数据库 前1条
1 薛社生;秦承森;;非理想爆源能量释放函数的反演方法[A];中国工程物理研究院科技年报(2000)[C];2000年
中国博士学位论文全文数据库 前2条
1 潘磊;小批量随机梯度下降算法在地震成像中的应用[D];中国科学技术大学;2018年
2 邓松海;若干新型谱共轭梯度算法及应用研究[D];中南大学;2013年
中国硕士学位论文全文数据库 前10条
1 张艳娜;一类凸优化问题的随机下降算法及其应用[D];南京财经大学;2018年
2 唐淳;分布式随机梯度下降算法研究[D];电子科技大学;2018年
3 金钊;基于改进随机梯度下降算法的SVM[D];河北大学;2017年
4 苏光辉;护士需求预测及优化排班问题研究[D];华中科技大学;2009年
5 薛芳;组Lasso模型及坐标下降算法研究[D];燕山大学;2015年
6 潘翠英;求解无约束优化问题的一类新的下降算法[D];首都师范大学;2006年
7 朱红焰;非线性互补问题若干方法的研究[D];安徽理工大学;2017年
8 张宁涛;基于压缩感知图像恢复算法的研究[D];武汉科技大学;2011年
9 邓卫钊;随机梯度下降和对偶坐标下降算法的研究与应用[D];燕山大学;2016年
10 周党振;一种求解优化问题和非线性方程组的下降算法[D];河南大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978