收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

孪生支持向量机关键问题的研究

黄华娟  
【摘要】:孪生支持向量机(Twin Support Vector Machines, TWSVM)是在支持向量机(Support Vector Machines, SVM)的基础上提出的一种新的机器学习方法。对于分类问题,TWSVM要寻找的是一对非平行的分类超平面;对于回归问题,TWSVM要在训练数据点两侧产生一对不平行的函数,分别确定回归函数的不敏感上、下界。TWSVM在形式上类似于SVM,但其计算效率是SVM的4倍。鉴于TWSVM优秀的学习性能,目前已成为机器学习领域的研究热点。然而,由于TWSVM是机器学习领域中相对较新的理论,它在很多方面尚不成熟、不完善,需要进一步地研究和改进。其中,关于它的学习算法的研究是该理论的重点和难点之一。本文主要从提升泛化性能、提高学习速度以及增强学习过程的健壮性等几个方面对TWSVM进行研究。具体的研究内容如下: 1.对光滑孪生支持向量机的新方法进行研究。针对目前光滑孪生支持向量分类机中采用的Sigmoid光滑函数逼近精度低的问题,采用具有更强逼近能力的Chen-Harker-Kanzow-Smale (CHKS)函数作为光滑函数,提出了光滑CHKS孪生支持向量分类机模型。其次,针对光滑孪生支持向量分类机没有考虑到样本位置对算法性能影响的问题,本文设计了一种隶属度函数,根据样本位置的不同赋予其不同的权重,提出了加权光滑CHKS孪生支持向量分类机模型,并从理论上证明其收敛性。最后,将所提算法推广到回归问题中,并采用离散粒子群优化(Particle Swarm Optimization, PSO)算法作为同时优化算法参数和特征选择的方法,提出了基于离散PSO模型选择的光滑CHKS孪生支持向量回归机,从理论上证明其任意阶光滑性和收敛性。 2.对孪生支持向量机模型的无约束不可微近似求解方法进行研究。根据优化理论中的Karush-Kuhn-Tucker (KKT)互补条件,建立了孪生支持向量分类机的无约束不可微优化模型,并采用可以直接求解不可微优化问题的自适应调节最大熵函数法作为所提模型的求解方法。该方法在参数值较小的情况下就可逼近问题的最优解,克服了传统最大熵函数法需取很大的参数值才能逼近最优解,并且有可能导致数值溢出的问题。最后,将此算法推广到回归问题,提出了基于自适应调节最大熵函数法的孪生支持向量回归机模型。 3.对最小二乘孪生支持向量回归机及其特征选择算法进行研究。为了提高孪生支持向量回归机(Twin Support Vector Regression, TSVR)的计算效率,引入最小二乘思想,将TSVR二次规划问题的不等式约束条件修正为等式约束条件,并将其代入目标函数,从而将TSVR的二次规划问题转化成为两个线性方程组问题,提出了最小二乘孪生支持向量回归机学习算法(Least Square TSVR,LSTSVR)。理论分析表明线性情况下的LSTSVR的计算复杂度仅与样本的维数有关,因此,LSTSVR的提出为大样本问题提供了一种有效的求解方法。在此基础上,为了提高LSTSVR求解高维问题的效率,本文提出了一种LSTSVR特征选择算法。首先,用1范数度量代替LSTSVR的2范数度量,可将LSTSVR中的两个线性方程组问题转化为两个线性规划问题。其次,通过具有快速收敛能力的牛顿法求解线性规划对偶问题中的外罚问题,原问题可以归结为求解线性方程系统。除了保留LSTSVR原有的优势,还具有速度快以及非常稀疏性的优势。对线性问题而言,意味着该方法可以自动选择样本的特征,从而达到降维的目的。 4.对最小二乘孪生参数化不敏感支持向量回归机进行研究。首先,引入最小二乘方法,将孪生参数化不敏感支持向量回归机(Twin Parametric InsensitiveSupport Vector Regression, TPISVR)的两个二次规划问题转化为两个线性方程组问题,提出最小二乘孪生参数化不敏感支持向量回归机(Least Square TPISVR,LSTPISVR),从理论上分析了LSTPISVR的计算复杂性。其次,鉴于LSTPISVR的参数较多的问题,提出一种具有快速全局搜索能力的混沌布谷鸟优化算法,并将其作为LSTPISVR的参数选择方法,以提高LSTPISVR参数寻优的效率。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 杨强,吴中福,余平,钟将;基于正反馈的支持向量机[J];重庆大学学报(自然科学版);2004年05期
2 孙蕾,周明全,李丙春;一种非平衡分布数据的支持向量机新算法[J];计算机应用;2004年12期
3 黄勇;郑春颖;宋忠虎;;多类支持向量机算法综述[J];计算技术与自动化;2005年04期
4 杨强,吴中福,余萍,钟将;一种新型支持向量机[J];重庆大学学报(自然科学版);2005年02期
5 张猛,付丽华,王高峰;模糊临近支持向量机[J];计算机工程与应用;2005年05期
6 张浩然;汪晓东;张长江;徐秀玲;;一种新型回归支持向量机的学习算法[J];测试技术学报;2006年02期
7 王晔;黄上腾;;基于间隔区域样本数量的加权支持向量机[J];计算机工程;2006年06期
8 梁新荣;刘智勇;孙德山;毛宗源;;支持向量机在混沌系统预测中的应用[J];计算机应用研究;2006年05期
9 卢敏;张展羽;冯宝平;贾仁辅;;基于支持向量机的区域水安全预警模型及应用[J];计算机工程;2006年15期
10 张阳;刘永革;景旭;;一种改进的线性支持向量机的特征筛选算法[J];西北农林科技大学学报(自然科学版);2006年10期
11 杨斌;路游;;基于统计学习理论的支持向量机的分类方法[J];计算机技术与发展;2006年11期
12 谢保川;刘福太;;支持向量机在模拟电路故障诊断中的应用[J];计算机仿真;2006年10期
13 张绪春;姜礼平;王平;;基于支持向量机的末敏弹命中概率预测研究[J];军事运筹与系统工程;2006年04期
14 鲁昌华;张军;胡浪涛;;基于支持向量机的铜矿成矿概率的研究[J];电子测量与仪器学报;2007年06期
15 胡金莲;杨雷;王斌;;用光滑的支持向量机解回归问题[J];科学技术与工程;2007年12期
16 吴疆;董婷;;基于支持向量机算法的癌症预测[J];榆林学院学报;2007年04期
17 朱程辉;孙东卫;丰义;吴德会;;基于支持向量机的无监督聚类算法研究[J];计算机工程与应用;2007年26期
18 陈继超;;支持向量机技术及其应用[J];科技信息(科学教研);2007年25期
19 李建武;陆耀;;一种快速多分类支持向量机实现策略[J];模式识别与人工智能;2007年03期
20 陶晓燕;姬红兵;董淑福;;用于非平衡样本分类的近似支持向量机[J];模式识别与人工智能;2007年04期
中国重要会议论文全文数据库 前10条
1 侯澍旻;李友荣;刘光临;;基于支持向量机的设备振动信号趋势预测[A];12省区市机械工程学会2006年学术年会湖北省论文集[C];2006年
2 张晓滨;尹英顺;赵培坤;马秀兰;;基于渐进直推支持向量机的半对半多类文本分类[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
3 徐会敏;王玉兰;;线性规划支持向量机模型的研究[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
4 晏庆华;;支持向量机算法综述[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
5 郭一楠;程健;肖大伟;杨梅;;分布式多分类支持向量机[A];2011年中国智能自动化学术会议论文集(第一分册)[C];2011年
6 林关成;李亚安;;一种支持向量机训练集选取算法改进[A];2009’中国西部地区声学学术交流会论文集[C];2009年
7 杨凌;刘玉树;;基于支持向量机的坦克识别算法[A];第三届全国数字成像技术及相关材料发展与应用学术研讨会论文摘要集[C];2004年
8 李方方;赵英凯;贾玉莹;杜杰;;基于最小二乘支持向量机的油品质量预测[A];第25届中国控制会议论文集(上册)[C];2006年
9 曾江辉;耿金凤;汪邦军;郝建春;;面向时间序列质量波动预测的支持向量机回归模型研究[A];使命与责任—以质量方法促转型升级——第五届中国质量学术与创新论坛论文集(上)[C];2012年
10 戴林超;吴琳丽;赵海娜;李训铭;;基于最小二乘支持向量机的故障预测法[A];2009年中国智能自动化会议论文集(第六分册)[中南大学学报(增刊)][C];2009年
中国博士学位论文全文数据库 前10条
1 周喜川;非可信环境下的支持向量机研究[D];浙江大学;2010年
2 常甜甜;支持向量机学习算法若干问题的研究[D];西安电子科技大学;2010年
3 王超;三类不确定支持向量机及其应用[D];河北大学;2013年
4 张国云;支持向量机算法及其应用研究[D];湖南大学;2006年
5 李华庆;支持向量机及其在人脸识别中的应用研究[D];上海交通大学;2006年
6 杜喆;几类支持向量机变型算法的研究[D];西安电子科技大学;2009年
7 李海生;支持向量机回归算法与应用研究[D];华南理工大学;2005年
8 刘京礼;鲁棒最小二乘支持向量机研究与应用[D];中国科学技术大学;2010年
9 董春曦;支持向量机及其在入侵检测中的应用研究[D];西安电子科技大学;2004年
10 唐发明;基于统计学习理论的支持向量机算法研究[D];华中科技大学;2005年
中国硕士学位论文全文数据库 前10条
1 周林成;小波支持向量机在数据建模中的研究及应用[D];江南大学;2008年
2 王芳;支持向量机算法的研究及应用[D];江南大学;2008年
3 高泓;基于支持向量机的动态预测方法与实现技术研究[D];大庆石油学院;2009年
4 王永吉;支持向量机泛化性能的研究及其应用[D];江南大学;2009年
5 梁宏霞;支持向量机模型研究及应用[D];辽宁师范大学;2009年
6 孙庆嘉;多类支持向量机的研究与分析[D];北京交通大学;2010年
7 朱杰;基于最小二乘支持向量机的传染病预测与研究[D];苏州大学;2009年
8 王琳;支持向量机及相关理论研究[D];辽宁师范大学;2010年
9 万家强;支持向量机在质量管理中的应用研究[D];重庆理工大学;2010年
10 李响;基于半监督支持向量机的网络流量分类机制的研究与实现[D];北京邮电大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978