收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

非稀疏多核支持向量机学习方法研究

胡庆辉  
【摘要】:核方法是解决非线性模式识别的一种有效方法,它用核函数k(xi,xj)来度量样本xi和xj之间的相似性,并通过一个非线性映射将输入数据映射到高维特征空间H,然后在H中寻找线性决策边界。但传统的核方法是基于单个特征空间映射的单核学习方法,多核学习相对于传统的单核学习,有更强的可解释性和可扩展性,在解决一些实际问题时往往能够取得比单核方法更好的泛化性能。通常考虑多个基本核函数的线性凸组合是一种简单有效的多核学习方法,在该框架下,样本在特征空间中的表示问题转化为基本核与组合系数的选择问题。为了避免出现过拟合的情况,通常需要对基本核的组合系数施加LP范数约束条件,当P=1时,得到的是组合系数的稀疏解,此时多数核的组合系数为0。稀疏解的优点是模型在核选择方面有很好的可解释性,但稀疏解可能会导致模型中有用信息丢失和泛化性能变差。因此,Kloft等人提出了一种非稀疏的多核学习方法,通过对组系数施加LP(P?1)范数约束,以得到组合系数的非稀疏解。相对于L1约束,LP约束的多核学习有更强的抗噪声能力和更好的鲁棒性。支持向量机(Support vector machine,SVM)是一种广泛使用且行之有效的机器学习方法,相对于其它算法,它更适合于处理小样本、非线性及高维模式识别等问题。同时SVM是一种基于核的学习方法,和其它基于核的方法一样,当SVM利用核技巧时,面临着核函数及参数选择的问题,传统的方法是根据经验进行人工选择和调整,由于缺乏必要的理论支撑,其结果往往是不可靠的。本文将非稀疏的多核学习方法引入到SVM中,来解决SVM中核函数选择和参数设置的问题,目标是提出有效的多核学习方法,同时提高SVM的泛化能力。具体地,本文主要完成了以下4个方面的工作:(1)提出了一种基于原问题求解的非稀疏多核学习方法QN-MKL。传统的多核学习方法通常是将目标函数转化为鞍点问题并通过原问题的对偶进行求解,而求解原问题与求解对偶问题是等价的。一些研究表明,直接求解原问题比求解对偶问题有更好的收敛属性。本文算法采用了次梯度和拟牛顿法求解标准SVM,拟牛顿法的超线性收敛性质使得QN-MKL算法有相对较快的收敛速度,同时具有较好的泛化性能。(2)提出了非稀疏多核半监督SVM学习方法LP-MKL-S3VM。本文将多核学习引入到半监督学习中,并采用了拟牛顿法、模拟退火和成对标签交换的局部搜索法来优化目标函数;在多核学习框架中,我们同时加入了基本核和流形核,以在学习过程中有效利用数据的几何性质,以改善单一聚类假设算法的局限。通过人工数据集和真实数据集上的仿真实验验证了算法的有效性。(3)将多核学习方法应用到回归问题,提出了非稀疏多核SVR学习算法NS-M R。实验表明,在不增加模型复杂性的同时,提出的算法相对于稀疏多核回归算法有更小的拟合误差,从而表明非稀疏的核组合有利于改善回归问题的拟合效果,提高建模的准确性。(4)提出了一种基于Boosting学习框架的非稀疏多核学习方法Lp-MKLBoost,在Boosting学习的每次迭代中,最优弱分类器通过非稀疏多核学习方法得到,通过对核组合系数施加L2范数约束,可以保留更多的核,从而保留了更多有用特征信息。提出的算法既具有Boosting集成学习的特点,同时具有正则化非稀疏多核学习的特点。


知网文化
【相似文献】
中国期刊全文数据库 前16条
1 江少杰;宁纪锋;李云松;;加权间隔结构化支持向量机目标跟踪算法[J];中国图象图形学报;2017年09期
2 李娜;孙乐;胡一楠;李笑;王亚南;;模糊型支持向量机及其在入侵检测中的应用[J];科技创新与应用;2018年11期
3 邵元海;杨凯丽;刘明增;王震;李春娜;陈伟杰;;从支持向量机到非平行支持向量机[J];运筹学学报;2018年02期
4 高钦姣;张胜刚;贾晓薇;;基于支持向量机的股票价格预测模型研究与应用[J];课程教育研究;2016年28期
5 林香亮;袁瑞;孙玉秋;王超;陈长胜;;支持向量机的基本理论和研究进展[J];长江大学学报(自科版);2018年17期
6 安悦瑄;丁世飞;胡继普;;孪生支持向量机综述[J];计算机科学;2018年11期
7 梁武;苏燕;;一种新的基于类内不平衡数据学习支持向量机算法[J];科技通报;2017年09期
8 吴青;梁勃;;分段熵光滑支持向量机性能研究[J];计算机工程与设计;2015年08期
9 牛犇;顾宏斌;孙瑾;周来;周扬;;有向无环图-双支持向量机的多类分类方法[J];计算机应用与软件;2015年11期
10 赵芳;马玉磊;;自训练半监督加权球结构支持向量机多分类方法[J];重庆邮电大学学报(自然科学版);2014年03期
11 候明;张新新;范丽亚;;四类基于支持向量机的多类分类器的性能比较[J];聊城大学学报(自然科学版);2014年03期
12 张小琴;贾郭军;;一种采用粗糙集和遗传算法的支持向量机[J];山西师范大学学报(自然科学版);2013年01期
13 黄娟;唐轶;王军霞;;贪婪支持向量机的分析及应用[J];计算机工程与应用;2012年24期
14 丁胜锋;;一种改进的双支持向量机[J];辽宁石油化工大学学报;2012年04期
15 李逢焕;;试述不确定支持向量机应用分析及改进思路[J];中国证券期货;2012年12期
16 赵凯;王巍;李玮瑶;;模糊积分在支持向量机集成中的应用研究[J];黑龙江科技信息;2011年27期
中国重要会议论文全文数据库 前10条
1 王晓红;;一种改进多类支持向量机加权后验概率重构策略[A];2009中国控制与决策会议论文集(3)[C];2009年
2 余乐安;姚潇;;基于中心化支持向量机的信用风险评估模型[A];第六届(2011)中国管理学年会——商务智能分会场论文集[C];2011年
3 何琴淑;刘信恩;肖世富;;基于支持向量机的系统辨识方法研究及应用[A];中国力学大会——2013论文摘要集[C];2013年
4 郭一楠;程健;肖大伟;杨梅;;分布式多分类支持向量机[A];2011年中国智能自动化学术会议论文集(第一分册)[C];2011年
5 汪荣贵;孙见青;胡琼;李守毅;;一种新的支持向量机决策树及其应用[A];中国仪器仪表学会第九届青年学术会议论文集[C];2007年
6 涂鼎;沈维政;尹艳玲;;基于支持向量机的生猪咳嗽声音识别方法研究[A];第八届中国畜牧科技论坛论文集[C];2018年
7 伍敏;苏鹏宇;刘金福;于达仁;;基于RVM和SVM的风速预测研究[A];2012电站自动化信息化学术和技术交流会议论文集[C];2012年
8 曾江辉;耿金凤;汪邦军;郝建春;;面向时间序列质量波动预测的支持向量机回归模型研究[A];使命与责任—以质量方法促转型升级——第五届中国质量学术与创新论坛论文集(上)[C];2012年
9 刘爽;贾传荧;;一种加权支持向量机算法[A];通信理论与信号处理新进展——2005年通信理论与信号处理年会论文集[C];2005年
10 张晓滨;尹英顺;赵培坤;马秀兰;;基于渐进直推支持向量机的半对半多类文本分类[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 胡庆辉;非稀疏多核支持向量机学习方法研究[D];武汉大学;2015年
2 孙宗海;支持向量机及其在控制中的应用研究[D];浙江大学;2003年
3 徐芳;航空影像分割的支持向量机方法[D];武汉大学;2004年
4 蔡从中;支持向量机及其在生物材料功能研究中的应用[D];重庆大学;2003年
5 孙德山;支持向量机分类与回归方法研究[D];中南大学;2004年
6 翟永杰;基于支持向量机的故障智能诊断方法研究[D];华北电力大学(河北);2004年
7 董春曦;支持向量机及其在入侵检测中的应用研究[D];西安电子科技大学;2004年
8 安金龙;支持向量机若干问题的研究[D];天津大学;2004年
9 朱燕飞;锌钡白回转窑煅烧过程智能建模研究[D];华南理工大学;2005年
10 阎满富;求解分类问题的支持向量机方法与应用研究[D];中国农业大学;2005年
中国硕士学位论文全文数据库 前10条
1 徐茜茜;基于支持向量机的股票价格预测及投资策略研究[D];西北大学;2018年
2 曹修山;基于MAB模型对支持向量机核参数的优化[D];中央民族大学;2018年
3 刘亚新;大规模支持向量机分类算法与应用研究[D];东北大学;2016年
4 单滢滢;基于坐标下降的支持向量机快速训练方法研究[D];南京信息工程大学;2018年
5 陆一祎;模糊多输出最小二乘支持向量机的分类与回归研究[D];南京信息工程大学;2018年
6 高春钦;基于PSO优化小波支持向量机的岩土力学参数反演[D];昆明理工大学;2018年
7 孙选将;支持向量机在糖尿病遗传风险预测中的应用[D];华东师范大学;2018年
8 杨婧;基于谐波结构的乐器音色特征提取方法研究[D];哈尔滨工业大学;2018年
9 李皓;基于改进损失函数的支持向量机研究[D];河北大学;2018年
10 季满;鲁棒单类支持向量机研究[D];河北大学;2018年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978