收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于优化理论的支持向量机学习算法研究

吴青  
【摘要】: 支持向量机是借助优化方法解决机器学习问题的新工具.近年来,支持向量机越来越受到人们的广泛关注,在其理论研究和算法实现方面都取得了重大进展,成为机器学习领域的前沿热点课题. 支持向量机将机器学习问题转化为优化问题,并应用优化理论构造算法.优化理论是支持向量机的重要理论基础之一,本文主要从优化理论和方法的角度对支持向量机进行研究.主要内容如下: 1.对最小二乘支持向量机进行研究.提出一类训练最小二乘支持向量机的条件预优共轭梯度法.当训练样本的个数较大时,最小二乘支持向量机需要求解高阶线性方程组,利用分块矩阵的思想将该高阶线性方程组系数矩阵降阶,为了提高收敛速度,克服数值的不稳定性,采用条件预优共轭梯度法求解低阶的线性方程组,大大提高了最小二乘支持向量机的训练速度. 2.对光滑支持向量机进行研究.无约束支持向量机模型是非光滑不可微的,许多优化算法无法直接用来求解该模型.采用CHKS函数作为光滑函数,提出了光滑的CHKS支持向量机模型,并用Newton-Armijo算法来训练该模型.该算法通过批处理训练来提高训练速度,节省存储空间,可以有效求解高维、大规模的分类问题. 3.基于优化理论中的KKT互补条件,分别建立了支持向量分类机和支持向量回归机的无约束不可微优化模型,并给出了有效的光滑化近似解法.建立了支持向量分类机的无约束不可微优化模型,给出了求解支持向量分类机的调节熵函数法.该方法不需要参数取值很大就可以逼近问题的最优解,避免了一般熵函数法为了逼近精确解,参数取得过大而导致数值的溢出现象;调节熵函数法同样可以用来训练无约束不可微的支持向量回归机,提出了求解支持向量回归机的调节熵函数法,有效避免了数值的溢出现象.这两个算法分别为求解支持向量分类机和支持向量回归机提供了新的思路. 4.对模糊支持向量机进行研究.针对支持向量分类机对训练样本中的噪声和孤立点特别敏感的问题,提出了一类基于边界向量提取的模糊支持向量机方法.选择可能成为支持向量的边界向量作为新样本,减少了参与训练的样本数目,提高了训练速度.样本的隶属度根据边界样本和噪声点与所在超球球心的距离分别确定,减弱了噪声点的影响,增强了支持向量对支持向量机分类的作用;为了克服最小二乘支持向量机对于孤立点过分敏感的问题,将模糊隶属度概念引入最小二乘支持向量机中,提出了基于支持向量域描述的模糊最小二乘支持向量回归机.新的隶属度的定义减弱了噪声点的影响.把所要求解的约束凸二次优化问题转化为正定线性方程组,并采用快速Cholesky分解的方法求解该方程组.在不牺牲训练速度的前提下,比支持向量机和最小二乘支持向量机具有更高的预测精度. 5.对半监督支持向量机进行研究.为了改进?TSVM的分类性能,引进了一个光滑分段函数,给出了光滑分段半监督支持向量机模型.光滑分段函数的逼近性能优于高斯近似函数.根据光滑分段半监督支持向量机的非凸特性,首次采用保证收敛的线性粒子群算法来训练半监督支持向量机,光滑分段半监督支持向量机在分类性能上优于?TSVM.


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 潘继斌;回归函数的支持向量机估计法[J];湖北师范学院学报(自然科学版);2003年04期
2 孟科,张恒喜,李寿安,朱家元;基于SVM的可靠性评估方法研究[J];中国制造业信息化;2004年10期
3 周秀平;王文圣;黄伟军;;支持向量机回归模型在径流预测中的应用[J];水电能源科学;2006年04期
4 胡挺;;基于支持向量机的并购目标搜索研究[J];统计与决策;2007年06期
5 邹华胜;宁书年;杨峰;徐遵义;;支持向量机在储层厚度预测和计算中的应用[J];地球物理学进展;2007年05期
6 范千;王新洲;许承权;;大坝变形预测的支持向量机模型[J];测绘工程;2007年06期
7 郭丽娟;孙世宇;段修生;;支持向量机及核函数研究[J];科学技术与工程;2008年02期
8 王炜;郭小明;王淑艳;刘丽琴;;关于核函数选取的方法[J];辽宁师范大学学报(自然科学版);2008年01期
9 王振友;叶丽婷;牛庆敏;;大气中臭氧含量分析预测的支向量机模型[J];数学的实践与认识;2008年09期
10 王海洋;丁正生;;支持向量机训练算法概述[J];科技信息(科学教研);2008年09期
11 杨钟瑾;;核函数支持向量机的研究进展[J];科技资讯;2008年19期
12 沈乐平;黄维民;饶天贵;;基于支持向量机的上市公司违规预警模型研究[J];中大管理研究;2008年02期
13 王慧勤;;基于支持向量机的短期风速预测研究[J];宝鸡文理学院学报(自然科学版);2009年01期
14 李新战;赵震宇;;支持向量机基础及其应用前景[J];科技信息;2009年17期
15 罗玲玲;周钢;;支持向量机在凝冻日数预测中的应用[J];廊坊师范学院学报(自然科学版);2009年06期
16 王文栋;钟智;元昌安;;基于GEP的支持向量机参数优化[J];广西师范学院学报(自然科学版);2010年02期
17 单连峰;高岩峰;马建忠;;支持向量机在胎膜早破预测中的应用[J];数学的实践与认识;2011年06期
18 孙延风,梁艳春;支持向量机的数据依赖型核函数改进算法[J];吉林大学学报(理学版);2003年03期
19 赵洪波;赵丽红;;支持向量机学习算法—序列最小优化(SMO)[J];绍兴文理学院学报(自然科学版);2003年04期
20 樊可清,倪一清,高赞明;基于频域系统辨识和支持向量机的桥梁状态监测方法[J];工程力学;2004年05期
中国重要会议论文全文数据库 前10条
1 林杰华;张斌;李冬森;宋华茂;余志强;王浩;;支持向量机在电力客户信用评级中的应用[A];全国第21届计算机技术与应用学术会议(CACIS·2010)暨全国第2届安全关键技术与应用学术会议论文集[C];2010年
2 蒋铁军;张怀强;李积源;;多变量系统预测的支持向量机方法研究[A];管理科学与系统科学研究新进展——第7届全国青年管理科学与系统科学学术会议论文集[C];2003年
3 黄淑云;孙兴玉;梁汝萍;邱建丁;;基于小波支持向量机预测蛋白质亚细胞定位研究[A];第十一届全国计算(机)化学学术会议论文摘要集[C];2011年
4 谢湘;匡镜明;;支持向量机在语音识别中的应用研究[A];现代通信理论与信号处理进展——2003年通信理论与信号处理年会论文集[C];2003年
5 涂冬成;薛龙;刘木华;赵进辉;沈杰;吁芳;;基于支持向量机的鹅肉肉色客观评定研究[A];中国农业工程学会电气信息与自动化专业委员会、中国电机工程学会农村电气化分会科技与教育专委会2010年学术年会论文摘要[C];2010年
6 杨凌;刘玉树;;基于支持向量机的坦克识别算法[A];第三届全国数字成像技术及相关材料发展与应用学术研讨会论文摘要集[C];2004年
7 师旭超;巴松涛;;基于支持向量机方法的深基坑变形预测[A];科技、工程与经济社会协调发展——河南省第四届青年学术年会论文集(上册)[C];2004年
8 张军;;支持向量机方法在地下水位干扰排除中的初步应用[A];2007年地震流体学术研讨会论文摘要集[C];2007年
9 许建生;盛立东;;基于改进的支持向量机和BP神经网络的识别算法[A];第八届全国汉字识别学术会议论文集[C];2002年
10 荣海娜;张葛祥;张翠芳;;基于支持向量机的非线性系统辨识方法[A];中国自动化学会、中国仪器仪表学会2004年西南三省一市自动化与仪器仪表学术年会论文集[C];2004年
中国博士学位论文全文数据库 前10条
1 刘叶青;原始空间中支持向量机若干问题的研究[D];西安电子科技大学;2009年
2 常甜甜;支持向量机学习算法若干问题的研究[D];西安电子科技大学;2010年
3 胡运红;支持向量机的若干算法研究[D];山东科技大学;2011年
4 周喜川;非可信环境下的支持向量机研究[D];浙江大学;2010年
5 赵莹;半监督支持向量机学习算法研究[D];哈尔滨工程大学;2010年
6 杜小芳;基于CPFR的农产品采购模型研究[D];华中科技大学;2005年
7 刘育明;动态过程数据的多变量统计监控方法研究[D];浙江大学;2006年
8 栾锋;支持向量机(SVM)和径向基神经网络(RBFNN)方法在化学、环境化学和药物化学中的应用研究[D];兰州大学;2006年
9 孙薇;市场条件下抽水蓄能电站效益综合评价及运营模式研究[D];华北电力大学(河北);2007年
10 常群;支持向量机的核方法及其模型选择[D];哈尔滨工业大学;2007年
中国硕士学位论文全文数据库 前10条
1 刘艳伟;支持向量机方法在感潮河段洪峰水位预报中的应用[D];浙江大学;2010年
2 杨镭;支持向量机算法设计及在高分辨雷达目标识别中的应用[D];国防科学技术大学;2010年
3 童振;基于支持向量机的电解液成分预测[D];东北大学;2008年
4 聂小芳;模糊粗糙集与支持向量机在煤与瓦斯突出预测中的应用研究[D];辽宁工程技术大学;2009年
5 鄢常亮;基于支持向量机的高炉向凉向热炉况预测研究[D];内蒙古科技大学;2010年
6 韩叙东;基于支持向量机的水电故障分类器的设计与实现[D];东北大学;2008年
7 冯杰;慢时变对象的支持向量机建模与在线校正方法研究[D];东北大学;2009年
8 朱耿峰;支持向量机在冲击地压预测模型中的应用研究[D];山东科技大学;2010年
9 王奇安;基于广泛内核的CVM算法研究及参数C的选择[D];南京航空航天大学;2009年
10 张永新;基于支持向量机和遗传算法相结合的模拟电路故障诊断方法研究[D];东北大学;2009年
中国重要报纸全文数据库 前10条
1 课题主持人 李心丹 课题协调人 上海证券交易所 施东晖 傅浩 课题研究员 宋素荣 查晓磊 宾红辉 张许宏 郭静静 黄隽 南京大学工程管理学院;内幕交易与市场操纵的行为动机与判别监管研究[N];中国证券报;2007年
2 李水根;计算机详解配伍与药效关系[N];健康报;2005年
3 清华大学 苏光大;非接触式人脸识别技术[N];计算机世界;2006年
4 YMG记者 李仁 通讯员 曲华明 孙运智;我市九项目进入省“盘子”[N];烟台日报;2010年
5 上海大学理学院教授、副院长 陆文聪;酷爱化学 孜孜以求[N];中国化工报;2006年
6 ;选择合适的数据挖掘算法[N];计算机世界;2007年
7 周颖;王米渠与中医心理学[N];中国中医药报;2006年
8 记者 耿挺;蛋白质功能算出来[N];上海科技报;2007年
9 记者 张云普通讯员 全攀峰 安强强;大庆物探深度域地震资料岩性解释技术获得五大突破[N];中国石油报;2008年
10 本报记者 冯治恩;敢与“雷公”试比高[N];铜川日报;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978