收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

(?)_p正则化问题的算法研究

吴磊  
【摘要】:(?)_p正则化问题在变量选择、信号处理、压缩传感、数据挖掘、金融最优化等许多领域有广泛的应用背景.对该问题的理论与算法的研究是目前国际优化界关注的一个热点.本文研究求解(?)_p正则化问题的理论、算法及其在压缩传感等领域中的应用.侧重于对p∈(0,1]时问题的研究.当p=1时,问题是一个Lipschitz连续的非光滑最优化问题.当p∈(0,1)时,问题是一个非Lipschitz连续的非光滑非凸函数极小化问题.是一个难度较大的问题. 在数值算法方面,本文集中于对求解大规模问题数值算法的研究.首先研究求解大规模1正则化问题的数值算法.我们从两个不同的途径研究求解该问题的数值算法.一方面,将求解光滑大规模最优化问题颇受欢迎的谱梯度算法加以改进,利用1正则化问题中目标函数的广义梯度,我们提出一种求解1正则化问题的谱梯度算法,并建立算法的收敛性定理.另一方面,对2-1正则化问题,我们利用问题的特殊性质,将其转化为一个等价的非光滑方程组.该方程组是一个单调、Lipschitz连续的半光滑方程组.在此基础上,我们提出一种求解2-1正则化问题的一种具有低存储量的迭代法.该算法的一个重要优点是算法产出的点列到问题的解集合的距离单调递减,而且,整个序列收敛于问题的一个解.为测试本文所提出的算法的使用效果,我们将算法应用于求解稀疏信号重建和图像恢复等问题,并与求解1正则化问题已有的数值表现较好的算法如GPSR和SpaRSA等算法进行比较,结果表明,本文的算法具有更好的实用效果和数值表现. 在对(?)_p(p∈(0,1))正则化问题的数值算法研究方面,本文侧重于对求解(?)_(1/2)正则化问题数值算法的研究.这主要是由于大量数值结果表明(?)_(1/2)正则化问题是(?)_p(p∈(0,1))正则化问题中具有代表性的问题.我们首先将谱梯度算法的思想应用于求解该问题,提出了求解(?)_(1/2)正则化问题的一种拟谱梯度算法.值得一提的是,本文的拟谱梯度算法不是求解光滑最优化问题谱梯度算法的一种简单推广工作,而是一种改进.由于1和(?)_(1/2)正则化问题是不可微问题,特别,(?)_(1/2)正则化问题的目标函数非Lipschitz连续,其广义梯度不存在,为此,我们构造一个函数使得它在问题中的地位与梯度在光滑最优化问题中的地位相似.在此基础上采用谱梯度法的思想设计算法.我们在适当条件下,证明算法的全局收敛性. 本文最重要的一个贡献是导出了求解(?)_(1/2)正则化问题的一个等价的光滑约束最优化问题.该约束问题极小化一个光滑函数,可行域由简单二次不等式约束和非负约束构成.问题的可行域具有非空内部,其KKT点一定存在,而且KKT点与原问题的稳定点相同.该等价性模型的建立为求解(?)_(1/2)正则化问题的数值算法开辟了一条新途径,使得应用求解光滑约束最优化问题的好的数值算法求解(?)_(1/2)正则化问题成为可能.在此等价性模型的基础上,我们提出求解(?)_(1/2)正则化问题的一种可行最速下降方向算法.该算法中的可行最速下降方向具有显式表达形式,因而,算法具有存储量少、计算量低的优点.在较弱的条件下,我们建立算法的全局收敛性定理.我们的数值试验结果表明,所提出的的可行最速下降法具有很好的数值表现. 文章还研究l_(1/2)正则化问题的最优性条件.导出问题的解的一阶、二阶必要条件和二阶充分条件.它们是已有结果的一种推广.特别,我们还证明,满足一阶条件的点不会是目标函数的一个局部极大值点. 此博士论文用LATEX2_ε软件打印.


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 朝红阳;有限维正则化方法求解不适定问题的误差估计[J];高等学校计算数学学报;1991年04期
2 范宜仁,魏丹,邓少贵;Tikhonov正则化方法在测井反演中的应用[J];测井技术;2005年02期
3 杨润生;李景;欧云华;;一类非线性不适定问题的Tikhonov正则化[J];数学理论与应用;2006年03期
4 赵花丽;杨雪梅;;大规模半定规划问题的正则化方法及收敛性[J];商洛学院学报;2009年02期
5 刘媛媛;张然;;动力系统方法在反问题中的应用[J];吉林大学学报(理学版);2009年05期
6 刘德刚;;数据拟合问题的正则化伴随共轭梯度法[J];黑龙江工程学院学报(自然科学版);2010年02期
7 李远树,段文泽;奇异控制正则化方法的推广与应用[J];控制理论与应用;1992年03期
8 贺国强;迭代Тихонов正则化方法的一类后验参数选取[J];科学通报;1992年18期
9 韩云瑞;正则化方法解线性方程的收敛速度[J];清华大学学报(自然科学版);1986年06期
10 潘文峰,吴代华,李卓球;波动逆散射的正则化方法研究Ⅱ[J];武汉理工大学学报;2003年02期
11 杨素华;罗兴钧;邱修峰;;求Abel型积分方程数值解的正则化方法[J];计算数学;2008年01期
12 刘振跃 ,刘家琦;第一类Fredholm积分方程非连续解的正则化方法[J];哈尔滨工业大学学报;1985年A2期
13 王西文;重磁线性反演的正则化方法[J];长安大学学报(地球科学版);1990年02期
14 顾勇为;归庆明;张磊;;基于复共线性诊断的正则化方法[J];信息工程大学学报;2007年04期
15 李佳;王薇;韩波;;一种解非线性反问题的正则化方法[J];黑龙江大学自然科学学报;2009年01期
16 仇晓庆;彭跃华;龚锋;项杰;;Tikhonov正则化的编程实现及其在气象中的应用[J];中国科教创新导刊;2010年11期
17 李成进;;解凸二次半定规划的过滤集-正则化方法[J];福建师范大学学报(自然科学版);2010年06期
18 陈威东;正则化方法在非线性分析中的应用[J];装甲兵工程学院学报;1994年Z1期
19 袁洪君;退缩抛物方程正则化方法在双曲守恒律研究中的应用[J];吉林大学自然科学学报;1995年04期
20 贺国强;某种Hilbert尺度上的Tихонов正则化方法[J];数学物理学报;1996年02期
中国重要会议论文全文数据库 前10条
1 杨元喜;徐天河;;综合验前模型信息和验后观测信息的自适应正则化方法[A];《大地测量与地球动力学进展》论文集[C];2004年
2 孙娅;柳建新;童孝忠;;正则化方法在地球物理不适定反演中研究现状[A];中国地球物理·2009[C];2009年
3 方涵先;黄思训;韩月琪;;改进的变分伴随理论在探空仪测风中的应用研究[A];第二十届全国水动力学研讨会文集[C];2007年
4 姜欣荣;陈文;王福章;;基于正则化方法的边界节点法[A];中国力学学会学术大会'2009论文摘要集[C];2009年
5 韩旭;刘杰;姜潮;;不确定性结构的动态载荷识别[A];中国力学学会学术大会'2009论文摘要集[C];2009年
6 苗晴;唐斌兵;周海银;;基于约束最小二乘的空域迭代图像复原[A];第三届全国信息获取与处理学术会议论文集[C];2005年
7 李冬梅;瞿英;;基于正则神经网络算法的混沌系统的辨识研究[A];2005中国控制与决策学术年会论文集(上)[C];2005年
8 苏利敏;王耀威;王彦飞;;基于SAR特征的正则化计算方法及其在纹理分类中的应用[A];第25届中国控制会议论文集(下册)[C];2006年
9 段希涛;刘超;江成顺;;一种基于Hilbert-Huang变换的正则化图像恢复算法[A];2004中国控制与决策学术年会论文集[C];2004年
10 崔岩;王彦飞;杨长春;;波阻抗反演计算的正则化重开始共轭梯度法研究[A];中国地球物理学会第二十四届年会论文集[C];2008年
中国博士学位论文全文数据库 前10条
1 吴磊;(?)_p正则化问题的算法研究[D];湖南大学;2013年
2 王林军;正则化方法及其在动态载荷识别中的应用[D];湖南大学;2011年
3 方晟;基于正则化的高倍加速并行磁共振成像技术[D];清华大学;2010年
4 邓志亮;两类不适定问题的正则化方法研究[D];兰州大学;2010年
5 郑光辉;分数阶偏微分方程几类反问题的正则化方法[D];兰州大学;2012年
6 尤琼;基于小波有限元与一阶Tikhonov正则化的移动车载识别研究[D];南京航空航天大学;2012年
7 蒋代军;偏微分方程中参数识别问题的理论分析和数值方法[D];武汉大学;2012年
8 邱春雨;几类反问题的正则化方法研究[D];兰州大学;2011年
9 黄丽丽;图像复原中若干问题的正则化模型与算法[D];南京理工大学;2013年
10 宋世俊;多光谱BLT反源问题的一类新型正则化方法[D];上海交通大学;2011年
中国硕士学位论文全文数据库 前10条
1 毛海舟;求解第一类Fredholm积分方程的正则化方法及应用[D];上海交通大学;2010年
2 张卫华;具Robin边值的反向热传导问题的几种正则化方法[D];兰州大学;2010年
3 李中锋;两个数学物理反问题的Landweber迭代正则化方法[D];兰州大学;2010年
4 刘媛媛;动力系统方法在反问题数值求解中的应用[D];吉林大学;2009年
5 高源;正则化最小二乘结合偏微分方程的图像复原技术研究[D];哈尔滨理工大学;2010年
6 李文琪;矩形区域上具有非齐次Neumann数据的Laplace方程Cauchy问题的正则化方法研究[D];兰州大学;2011年
7 王远磊;基于正则化与粒子群算法的PCS纳米颗粒测量反演算法研究[D];山东理工大学;2010年
8 程华;一种基于正则化偏微分方程的图像恢复算法[D];福州大学;2005年
9 王冠;二维散射问题的积分方程方法及其数值实现[D];吉林大学;2010年
10 王媛媛;Laplace方程Cauchy问题的一种正则化方法[D];兰州大学;2010年
中国重要报纸全文数据库 前1条
1 ;理论纵深发展 人工智能优化 集成网络协同[N];中国化工报;2003年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978