收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

支持向量机中参数选取的平衡约束规划方法

董玉林  
【摘要】: 本文旨在研究支持向量机中参数的优化选取问题。主要原因有三个:一是支持向量机作为机器学习的一种重要方法,已经在各行各业中得到广泛的应用,并且取得了好的效果;二是支持向量机中的参数选取是支持向量机研究中的一类重要问题,参数选取的不同,对支持向量机的泛化性能影响很大;三是支持向量机中参数选取的传统方法是调频方法和网格方法,这两种方法不容易操作,并且较费时。本文主要针对L_1-范数支持向量机,建立了参数选取的模型,然后对建立的模型进行了理论分析,设计了算法,并进行了数值试验。本文取得的结果可概括如下: 1.第2章首先给出了支持向量机中参数选取的基本模型,分别为原始模型和对偶模型。然后针对L_1-范数支持向量机给出了一种平衡约束规划模型(MPEC),其目标函数为整数值的下半连续函数。分析了模型的基本性质,证明了解的存在性。由于在常规局部极小点定义的意义下,约束区域中的任一点都是该问题的局部极小点,因此我们对该问题给出了极小锥与极小块的定义,建立了基于极小锥与极小块意义下的一阶最优性条件。 2.第3章首先建立了一个具有非光滑目标函数的MPEC模型。为了易于求解该模型,本章采用一个光滑的凹函数来近似目标函数。由于下层规划是一个凸二次规划,它的解集就是该规划的KKT点集,因此模型被转化为一个具有光滑目标函数的且带有互补约束的非线性规划问题,然后证明了光滑问题的一个全局最优解是原问题的最优解。因为具有互补约束的优化问题一般不满足传统优化算法所要求的约束规范假设,所以本章采用了ε松弛的方法处理互补约束。本章最后进行了数值试验,数值结果表明算法的有效性。 3.第4章对支持向量机的参数选取模型,给出了将遗传算法与确定性方法相结合的求解方法。模型中的下层规划在参数给定时,是一个凸二次规划,可以通过支持向量机算法求解得到(本章使用的是SVM~(light)软件包求解),然后把参数作为上层规划的变量进行优化。数值试验结果表明,本章的算法对支持向量机参数选取模型的求解是有效的。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 周厚春,席敏;复合非光滑最优化线搜索方法的全局收敛性(英文)[J];南京师大学报(自然科学版);2003年03期
2 杨新民;非光滑最优化问题的充分条件[J];数学研究与评论;1993年02期
3 王大麒;Banach空间中的一类非光滑最优化问题的算法[J];中山大学学报(自然科学版);1993年03期
4 王炜,夏尊铨;U-拉格朗日函数的最优解集[J];辽宁师范大学学报(自然科学版);2002年04期
5 王大麟;;一类非光滑与光滑最优化问题之间的关系[J];中山大学学报(自然科学版);1991年03期
6 董玉林,庞丽萍,夏尊铨;关于线性不等式组的ABS-SG算法[J];辽宁师范大学学报(自然科学版);2004年01期
7 刘三明;姚志远;;线性约束极大熵问题的正则约束凝聚函数法[J];上海电机学院学报;2008年03期
8 林应举;庄建南;;非光滑最优化方法的应用领域[J];贵州工业大学学报(自然科学版);1988年S1期
9 黄力人,吴恭孚;极大值函数取得最小值的二次最优条件[J];中国科学A辑;2000年04期
10 王炜;王宝全;;一种变尺度UV-的分解算法[J];辽宁师范大学学报(自然科学版);2008年04期
11 王炜;王雯;;一类非凸D.C.约束优化问题的UV-分解理论[J];大连民族学院学报;2009年03期
12 秦俊杰;王宝全;;最大值函数的UV-算法[J];太原师范学院学报(自然科学版);2008年04期
13 王兆智;非光滑最优化的二阶最优性条件[J];北京理工大学学报;1993年S1期
14 张雪亚,夏圈世,俞金寿;大系统优化控制中的非光滑函数优化问题[J];华东理工大学学报;1991年04期
15 ;[J];;年期
16 ;[J];;年期
17 ;[J];;年期
18 ;[J];;年期
19 ;[J];;年期
20 ;[J];;年期
中国重要会议论文全文数据库 前1条
1 梁怡;吴可法;;一类非光滑最优化问题的有限步解法[A];中国运筹学会第六届学术交流会论文集(下卷)[C];2000年
中国博士学位论文全文数据库 前3条
1 董玉林;支持向量机中参数选取的平衡约束规划方法[D];大连理工大学;2007年
2 沈洁;近似束方法及其应用[D];大连理工大学;2006年
3 金丽;基于二阶导数的非凸约束优化的微分方程方法[D];大连理工大学;2006年
中国硕士学位论文全文数据库 前5条
1 孙昕;关于投影梯度法的一些新的研究结果[D];辽宁师范大学;2007年
2 陆媛;正常凸函数的UV-分解理论及其应用[D];辽宁师范大学;2007年
3 王淑艳;基于人为误差的支持向量机[D];辽宁师范大学;2008年
4 王娟娟;一般约束的网格自适应直接搜索过滤算法[D];南京理工大学;2012年
5 陈禹;共轭梯度法的收敛性研究[D];长江大学;2012年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978