收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

改进最小二乘支持向量机及其应用

陈立勇  
【摘要】:支持向量机(SVM)是以结构风险最小化为建模准则的机器学习方法,其追求的是在有限样本信息情况下取得模型学习能力和模型复杂度的有效折衷。作为SVM的改进,最小二乘支持向量机(LS-SVM)继承了SVM处理小样本、非线性和局部极小点等问题的优势,但是LS-SVM的解缺失了稀疏性以及鲁棒性。另一方面LS-SVM模型的超参数仍有待进一步优化。为此论文针对LS-SVM存在的上述不足,提出如下相应的改进措施: (1)为了提高LS-SVM的拟合精度和泛化能力,提出采用耦合模拟退火(CSA)算法优化LS-SVM超参数。CSA算法通过并行处理多个独立模拟退火(SA)寻优过程,促进优化信息共享;然后通过自适应调整接受温度值,控制LS-SVM超参数的接受概率方差,降低接受温度初始赋值对CSA算法敏感性;最后结合既有线轮轨现场检测数据,开展了CSA优化LS-SVM的性能对比实验。结果表明优化的LS-SVM取得较好的预测效果。 (2)为了降低噪声数据对LS-SVM模型稳健性影响,采用迭代鲁棒最小二乘支持向量机(IRLS-SVM)对现场数据进行建模和预报。首先增加权函数迭代次数以增强建模过程鲁棒性;然后将具有全局搜索的CSA与局部优化的单纯形法(SM)相结合的方法用于优化IRLS-SVM超参数,进而采用鲁棒交叉验证作为CSA-SM算法拟合目标函数,提高模型超参数优化过程的鲁棒性;最后利用变速箱现场齿轮磨损数据进行数值试验,结果表明所提出方法的有效性。 (3)针对LS-SVM缺失稀疏性的问题,论文相继提出两种稀疏模型: ①构建基于特征向量选择(FVS)的稀疏最小二乘支持向量机(SLS-SVM)模型。首先采用FVS在特征空间建立特征向量子集,对训练样本进行稀疏线性重构;然后将稀疏化的特征向量作为支持向量,从而实现对LS-SVM稀疏化建模;最后将所提出的SLS-SVM模型进行了数值模拟和弓网系统的仿真对比实验。结果表明SLS-SVM模型在取得高预报精度的同时,实现支持向量的稀疏化,模型预报速度得到加快。 ②通过在LS-SVM目标函数中引入L0-范数正则项稀疏思想,迭代实现支持向量的稀疏化,并据此建立迭代稀疏最小二乘支持向量机(ISLS-SVM)。由于ISLS-SVM迭代稀疏过程涉及额外的线性方程组。为了加快ISLS-SVM建模速度,提出首先基于快速留一交叉验证减少稀疏模型初值设置过程计算量;接着经过一系列变换采用更加高效的Chol分解法求解降阶后的线性方程组。最后将所提出的改进ISLS-SVM模型应用于UCI标准数据预测,结果表明改进稀疏模型的有效性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 郭辉;刘贺平;王玲;;基于最小二乘支持向量机对偶优化问题的核偏最小二乘[J];北京科技大学学报;2006年08期
2 周明东;林俊聪;金小刚;;最小二乘网格的模型修补[J];工程图学学报;2009年05期
3 赵永平;孙健国;王健康;;在线稀疏最小二乘支持向量回归机及其应用(英文)[J];Transactions of Nanjing University of Aeronautics & Astronautics;2009年04期
4 郭一新;基本最小二乘参数估计的程序设计[J];信息与控制;1984年06期
5 丁振,潘泉,吴锦涛,张洪才;最小二乘被动式跟踪算法与仿真[J];数据采集与处理;1996年02期
6 鲁照权;俞宗嘉;胡金东;胡焱东;;广义最小二乘限定记忆参数辨识方法与仿真研究[J];安徽大学学报(自然科学版);2009年06期
7 冯健;花向红;王刘准;;整体最小二乘的GM(1,n)模型在高铁中的应用研究[J];测绘地理信息;2014年01期
8 徐峰;史伟民;杨亮亮;;高速高精运动平台模型参数最小二乘辨识研究[J];机电工程;2014年09期
9 周鑫;刘全;傅启明;肖飞;;一种批量最小二乘策略迭代方法[J];计算机科学;2014年09期
10 赵永平;孙健国;;一种快速稀疏最小二乘支持向量回归机[J];控制与决策;2008年12期
11 杨志安;;基于最小二乘的鲁棒线性拟和方法[J];仪器仪表标准化与计量;2008年03期
12 张鹏杰;邱卫宁;侯贺平;李成;;总体最小二乘求取AR(1)模型参数[J];测绘信息与工程;2012年03期
13 张剑清;基于特征的最小二乘匹配理论精度[J];武汉测绘科技大学学报;1988年04期
14 黎云汉;朱善安;;基于递归正交最小二乘的径向基函数网络人脸识别[J];信号处理;2007年03期
15 杨晓伟;路节;张广全;;一种高效的最小二乘支持向量机分类器剪枝算法[J];计算机研究与发展;2007年07期
16 陈慧波;尚飞;;输出快采样的ARMA模型最小二乘盲辨识方法[J];安阳工学院学报;2010年04期
17 王学雷,邵惠鹤;一种基于积分最小二乘指标的时滞过程频域辨识算法[J];上海交通大学学报;2002年04期
18 鲁照权;胡金东;胡焱东;俞宗嘉;;增广最小二乘限定记忆参数估计算法与仿真[J];合肥工业大学学报(自然科学版);2009年07期
19 刘解放;陈娜;赵磊;侯振雨;;最小二乘支持机及其数学原理和应用研究[J];河南科技学院学报(自然科学版);2008年03期
20 胡雷;林岳松;郭云飞;;约束总体最小二乘空间配准算法[J];火力与指挥控制;2011年10期
中国重要会议论文全文数据库 前10条
1 孙明轩;毕宏博;;最小二乘学习辨识[A];中国自动化学会控制理论专业委员会D卷[C];2011年
2 袁庆;楼立志;陈玮娴;;加权总体最小二乘在三维基准转换中的应用[A];第二届中国卫星导航学术年会电子文集[C];2011年
3 宋海鹰;桂卫华;阳春华;;基于核偏最小二乘的简约最小二乘支持向量机及其应用研究[A];第二十六届中国控制会议论文集[C];2007年
4 陈慧波;丁锋;;基于输出快采样数据的确定性系统最小二乘盲辨识方法[A];第二十六届中国控制会议论文集[C];2007年
5 苑云;朱肇昆;尚洋;;一种加速最小二乘匹配方法[A];第十三届全国实验力学学术会议论文摘要集[C];2012年
6 康传会;汪晓东;汪轲;常健丽;;基于最小二乘支持向量机的迟滞建模方法[A];第二十九届中国控制会议论文集[C];2010年
7 于正湜;朱圣英;崔平远;;小天体地形重构技术的最小二乘实现与精度分析[A];中国宇航学会深空探测技术专业委员会第八届学术年会论文集(下篇)[C];2011年
8 周明东;林俊聪;金小刚;;基于最小二乘网格的模型修补[A];中国计算机图形学进展2008--第七届中国计算机图形学大会论文集[C];2008年
9 闫守柱;罗佳;吉雯龙;张传海;胡晓明;;基于ACPSO的最小二乘支持向量机分类方法研究[A];系统仿真技术及其应用学术论文集(第15卷)[C];2014年
10 胡亚轩;王庆良;崔笃信;王文萍;李克;郑传芳;陈红卫;;Mogi模型的阻尼最小二乘反演及其应用[A];中国地球物理学会第22届年会论文集[C];2006年
中国硕士学位论文全文数据库 前10条
1 周鑫;最小二乘策略迭代算法研究[D];苏州大学;2014年
2 陈沛;一种基于最小二乘映射的减基法及应用[D];湖南大学;2011年
3 陈晓伟;有色噪声干扰随机系统二步最小二乘辨识方法[D];江南大学;2008年
4 徐强;基于二乘二取二计算机安全平台的设计与实现[D];西安电子科技大学;2011年
5 陈立勇;改进最小二乘支持向量机及其应用[D];华东交通大学;2014年
6 于德海;最小二乘小波及其在心电信号识别中的应用[D];北方工业大学;2005年
7 李威特;胎面生产过程关键段模型研究[D];武汉理工大学;2008年
8 崔庆;最小二乘支持向量机模型的改进及其在径流预报中的应用[D];西北农林科技大学;2013年
9 曹杰;二乘二取二计算机联锁控制系统的研究[D];天津大学;2009年
10 李翔;基于FPGA的二乘二取二安全系统的设计与实现[D];北京交通大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978