收藏本站
《武汉大学》 2015年
收藏 | 手机打开
二维码
手机客户端打开本文

非稀疏多核支持向量机学习方法研究

胡庆辉  
【摘要】:核方法是解决非线性模式识别的一种有效方法,它用核函数k(xi,xj)来度量样本xi和xj之间的相似性,并通过一个非线性映射将输入数据映射到高维特征空间H,然后在H中寻找线性决策边界。但传统的核方法是基于单个特征空间映射的单核学习方法,多核学习相对于传统的单核学习,有更强的可解释性和可扩展性,在解决一些实际问题时往往能够取得比单核方法更好的泛化性能。通常考虑多个基本核函数的线性凸组合是一种简单有效的多核学习方法,在该框架下,样本在特征空间中的表示问题转化为基本核与组合系数的选择问题。为了避免出现过拟合的情况,通常需要对基本核的组合系数施加LP范数约束条件,当P=1时,得到的是组合系数的稀疏解,此时多数核的组合系数为0。稀疏解的优点是模型在核选择方面有很好的可解释性,但稀疏解可能会导致模型中有用信息丢失和泛化性能变差。因此,Kloft等人提出了一种非稀疏的多核学习方法,通过对组系数施加LP(P?1)范数约束,以得到组合系数的非稀疏解。相对于L1约束,LP约束的多核学习有更强的抗噪声能力和更好的鲁棒性。支持向量机(Support vector machine,SVM)是一种广泛使用且行之有效的机器学习方法,相对于其它算法,它更适合于处理小样本、非线性及高维模式识别等问题。同时SVM是一种基于核的学习方法,和其它基于核的方法一样,当SVM利用核技巧时,面临着核函数及参数选择的问题,传统的方法是根据经验进行人工选择和调整,由于缺乏必要的理论支撑,其结果往往是不可靠的。本文将非稀疏的多核学习方法引入到SVM中,来解决SVM中核函数选择和参数设置的问题,目标是提出有效的多核学习方法,同时提高SVM的泛化能力。具体地,本文主要完成了以下4个方面的工作:(1)提出了一种基于原问题求解的非稀疏多核学习方法QN-MKL。传统的多核学习方法通常是将目标函数转化为鞍点问题并通过原问题的对偶进行求解,而求解原问题与求解对偶问题是等价的。一些研究表明,直接求解原问题比求解对偶问题有更好的收敛属性。本文算法采用了次梯度和拟牛顿法求解标准SVM,拟牛顿法的超线性收敛性质使得QN-MKL算法有相对较快的收敛速度,同时具有较好的泛化性能。(2)提出了非稀疏多核半监督SVM学习方法LP-MKL-S3VM。本文将多核学习引入到半监督学习中,并采用了拟牛顿法、模拟退火和成对标签交换的局部搜索法来优化目标函数;在多核学习框架中,我们同时加入了基本核和流形核,以在学习过程中有效利用数据的几何性质,以改善单一聚类假设算法的局限。通过人工数据集和真实数据集上的仿真实验验证了算法的有效性。(3)将多核学习方法应用到回归问题,提出了非稀疏多核SVR学习算法NS-M R。实验表明,在不增加模型复杂性的同时,提出的算法相对于稀疏多核回归算法有更小的拟合误差,从而表明非稀疏的核组合有利于改善回归问题的拟合效果,提高建模的准确性。(4)提出了一种基于Boosting学习框架的非稀疏多核学习方法Lp-MKLBoost,在Boosting学习的每次迭代中,最优弱分类器通过非稀疏多核学习方法得到,通过对核组合系数施加L2范数约束,可以保留更多的核,从而保留了更多有用特征信息。提出的算法既具有Boosting集成学习的特点,同时具有正则化非稀疏多核学习的特点。
【学位授予单位】:武汉大学
【学位级别】:博士
【学位授予年份】:2015
【分类号】:TP181

【参考文献】
中国期刊全文数据库 前7条
1 吴迪;葛临东;彭华;;基于EM算法的联合调制识别与参数估计[J];四川大学学报(工程科学版);2014年01期
2 郭虎升;王文剑;;动态粒度支持向量回归机[J];软件学报;2013年11期
3 丁世飞;黄华娟;史忠植;;加权光滑CHKS孪生支持向量机[J];软件学报;2013年11期
4 曹莹;苗启广;刘家辰;高琳;;AdaBoost算法研究进展与展望[J];自动化学报;2013年06期
5 周金柱;黄进;;集成先验知识的多核线性规划支持向量回归[J];自动化学报;2011年03期
6 刘冰;付平;孟升卫;;基于正交匹配追踪的压缩感知信号检测算法[J];仪器仪表学报;2010年09期
7 汪洪桥;孙富春;蔡艳宁;陈宁;丁林阁;;多核学习方法[J];自动化学报;2010年08期
【共引文献】
中国期刊全文数据库 前10条
1 丁世飞;黄华娟;;最小二乘孪生参数化不敏感支持向量回归机[J];软件学报;2017年12期
2 黄瑾娉;陶杰;;基于Adaboost算法的主客观句分类[J];长春大学学报;2015年12期
3 余清清;曾健民;林德贵;;基于KLCCF和SPG-GMKL的财务危机预警模型[J];计算机与数字工程;2015年12期
4 赵喆;侯俊;;基于肤色模型和改进Adaboost算法的人脸检测[J];电子科技;2015年12期
5 安大海;蒋砚军;;基于BP神经网络的人脸识别系统[J];软件;2015年12期
6 周清锋;杨宣访;张相宜;;火焰及干扰图像形态特征分析研究[J];消防科学与技术;2015年12期
7 刘吉臻;秦天牧;杨婷婷;吕游;;基于自适应多尺度核偏最小二乘的SCR烟气脱硝系统建模[J];中国电机工程学报;2015年23期
8 马强;王文伟;;融合显著性因子的行人纹理提取[J];计算机应用;2015年11期
9 张维强;赵荣珍;李坤杰;;基于MSKPCA和SVM的转子故障诊断模型及应用[J];机械设计与制造;2015年10期
10 胡德华;郑东健;付浩雁;;AdaBoost-BP模型在大坝变形预测中的应用[J];三峡大学学报(自然科学版);2015年05期
【二级参考文献】
中国期刊全文数据库 前10条
1 刘爱声;朱琦;;多传感器节点分布式协作调制识别算法[J];信号处理;2011年08期
2 葛俊锋;罗予频;;非对称AdaBaost算法及其在目标检测中的应用(英文)[J];自动化学报;2009年11期
3 李林;孔令富;练秋生;;基于轮廓波维纳滤波的图像压缩传感重构[J];仪器仪表学报;2009年10期
4 练秋生;高彦彦;陈书贞;;基于两步迭代收缩法和复数小波的压缩传感图像重构[J];仪器仪表学报;2009年07期
5 ;TWIN SUPPORT TENSOR MACHINES FOR MCS DETECTION[J];Journal of Electronics(China);2009年03期
6 黎铭;周志华;;基于多核集成的在线半监督学习方法[J];计算机研究与发展;2008年12期
7 程豪;黄磊;刘昌平;谭怒涛;;基于笔画和Adaboost的两层视频文字定位算法[J];自动化学报;2008年10期
8 杨之光;艾海舟;;基于聚类的人脸图像检索及相关反馈[J];自动化学报;2008年09期
9 牟少敏;田盛丰;尹传环;;基于协同聚类的多核学习[J];北京交通大学学报;2008年02期
10 贺涛;周正欧;;使用分集技术的信号调制类型识别[J];电子与信息学报;2008年04期
【相似文献】
中国期刊全文数据库 前10条
1 江少杰;宁纪锋;李云松;;加权间隔结构化支持向量机目标跟踪算法[J];中国图象图形学报;2017年09期
2 李娜;孙乐;胡一楠;李笑;王亚南;;模糊型支持向量机及其在入侵检测中的应用[J];科技创新与应用;2018年11期
3 邵元海;杨凯丽;刘明增;王震;李春娜;陈伟杰;;从支持向量机到非平行支持向量机[J];运筹学学报;2018年02期
4 高钦姣;张胜刚;贾晓薇;;基于支持向量机的股票价格预测模型研究与应用[J];课程教育研究;2016年28期
5 林香亮;袁瑞;孙玉秋;王超;陈长胜;;支持向量机的基本理论和研究进展[J];长江大学学报(自科版);2018年17期
6 安悦瑄;丁世飞;胡继普;;孪生支持向量机综述[J];计算机科学;2018年11期
7 梁武;苏燕;;一种新的基于类内不平衡数据学习支持向量机算法[J];科技通报;2017年09期
8 吴青;梁勃;;分段熵光滑支持向量机性能研究[J];计算机工程与设计;2015年08期
9 牛犇;顾宏斌;孙瑾;周来;周扬;;有向无环图-双支持向量机的多类分类方法[J];计算机应用与软件;2015年11期
10 赵芳;马玉磊;;自训练半监督加权球结构支持向量机多分类方法[J];重庆邮电大学学报(自然科学版);2014年03期
中国重要会议论文全文数据库 前10条
1 王晓红;;一种改进多类支持向量机加权后验概率重构策略[A];2009中国控制与决策会议论文集(3)[C];2009年
2 余乐安;姚潇;;基于中心化支持向量机的信用风险评估模型[A];第六届(2011)中国管理学年会——商务智能分会场论文集[C];2011年
3 何琴淑;刘信恩;肖世富;;基于支持向量机的系统辨识方法研究及应用[A];中国力学大会——2013论文摘要集[C];2013年
4 郭一楠;程健;肖大伟;杨梅;;分布式多分类支持向量机[A];2011年中国智能自动化学术会议论文集(第一分册)[C];2011年
5 汪荣贵;孙见青;胡琼;李守毅;;一种新的支持向量机决策树及其应用[A];中国仪器仪表学会第九届青年学术会议论文集[C];2007年
6 涂鼎;沈维政;尹艳玲;;基于支持向量机的生猪咳嗽声音识别方法研究[A];第八届中国畜牧科技论坛论文集[C];2018年
7 伍敏;苏鹏宇;刘金福;于达仁;;基于RVM和SVM的风速预测研究[A];2012电站自动化信息化学术和技术交流会议论文集[C];2012年
8 曾江辉;耿金凤;汪邦军;郝建春;;面向时间序列质量波动预测的支持向量机回归模型研究[A];使命与责任—以质量方法促转型升级——第五届中国质量学术与创新论坛论文集(上)[C];2012年
9 刘爽;贾传荧;;一种加权支持向量机算法[A];通信理论与信号处理新进展——2005年通信理论与信号处理年会论文集[C];2005年
10 张晓滨;尹英顺;赵培坤;马秀兰;;基于渐进直推支持向量机的半对半多类文本分类[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 胡庆辉;非稀疏多核支持向量机学习方法研究[D];武汉大学;2015年
2 孙宗海;支持向量机及其在控制中的应用研究[D];浙江大学;2003年
3 徐芳;航空影像分割的支持向量机方法[D];武汉大学;2004年
4 蔡从中;支持向量机及其在生物材料功能研究中的应用[D];重庆大学;2003年
5 孙德山;支持向量机分类与回归方法研究[D];中南大学;2004年
6 翟永杰;基于支持向量机的故障智能诊断方法研究[D];华北电力大学(河北);2004年
7 董春曦;支持向量机及其在入侵检测中的应用研究[D];西安电子科技大学;2004年
8 安金龙;支持向量机若干问题的研究[D];天津大学;2004年
9 朱燕飞;锌钡白回转窑煅烧过程智能建模研究[D];华南理工大学;2005年
10 阎满富;求解分类问题的支持向量机方法与应用研究[D];中国农业大学;2005年
中国硕士学位论文全文数据库 前10条
1 徐茜茜;基于支持向量机的股票价格预测及投资策略研究[D];西北大学;2018年
2 曹修山;基于MAB模型对支持向量机核参数的优化[D];中央民族大学;2018年
3 刘亚新;大规模支持向量机分类算法与应用研究[D];东北大学;2016年
4 单滢滢;基于坐标下降的支持向量机快速训练方法研究[D];南京信息工程大学;2018年
5 陆一祎;模糊多输出最小二乘支持向量机的分类与回归研究[D];南京信息工程大学;2018年
6 高春钦;基于PSO优化小波支持向量机的岩土力学参数反演[D];昆明理工大学;2018年
7 孙选将;支持向量机在糖尿病遗传风险预测中的应用[D];华东师范大学;2018年
8 杨婧;基于谐波结构的乐器音色特征提取方法研究[D];哈尔滨工业大学;2018年
9 李皓;基于改进损失函数的支持向量机研究[D];河北大学;2018年
10 季满;鲁棒单类支持向量机研究[D];河北大学;2018年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026