收藏本站
《西安电子科技大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

基于优化理论的支持向量机学习算法研究

吴青  
【摘要】: 支持向量机是借助优化方法解决机器学习问题的新工具.近年来,支持向量机越来越受到人们的广泛关注,在其理论研究和算法实现方面都取得了重大进展,成为机器学习领域的前沿热点课题. 支持向量机将机器学习问题转化为优化问题,并应用优化理论构造算法.优化理论是支持向量机的重要理论基础之一,本文主要从优化理论和方法的角度对支持向量机进行研究.主要内容如下: 1.对最小二乘支持向量机进行研究.提出一类训练最小二乘支持向量机的条件预优共轭梯度法.当训练样本的个数较大时,最小二乘支持向量机需要求解高阶线性方程组,利用分块矩阵的思想将该高阶线性方程组系数矩阵降阶,为了提高收敛速度,克服数值的不稳定性,采用条件预优共轭梯度法求解低阶的线性方程组,大大提高了最小二乘支持向量机的训练速度. 2.对光滑支持向量机进行研究.无约束支持向量机模型是非光滑不可微的,许多优化算法无法直接用来求解该模型.采用CHKS函数作为光滑函数,提出了光滑的CHKS支持向量机模型,并用Newton-Armijo算法来训练该模型.该算法通过批处理训练来提高训练速度,节省存储空间,可以有效求解高维、大规模的分类问题. 3.基于优化理论中的KKT互补条件,分别建立了支持向量分类机和支持向量回归机的无约束不可微优化模型,并给出了有效的光滑化近似解法.建立了支持向量分类机的无约束不可微优化模型,给出了求解支持向量分类机的调节熵函数法.该方法不需要参数取值很大就可以逼近问题的最优解,避免了一般熵函数法为了逼近精确解,参数取得过大而导致数值的溢出现象;调节熵函数法同样可以用来训练无约束不可微的支持向量回归机,提出了求解支持向量回归机的调节熵函数法,有效避免了数值的溢出现象.这两个算法分别为求解支持向量分类机和支持向量回归机提供了新的思路. 4.对模糊支持向量机进行研究.针对支持向量分类机对训练样本中的噪声和孤立点特别敏感的问题,提出了一类基于边界向量提取的模糊支持向量机方法.选择可能成为支持向量的边界向量作为新样本,减少了参与训练的样本数目,提高了训练速度.样本的隶属度根据边界样本和噪声点与所在超球球心的距离分别确定,减弱了噪声点的影响,增强了支持向量对支持向量机分类的作用;为了克服最小二乘支持向量机对于孤立点过分敏感的问题,将模糊隶属度概念引入最小二乘支持向量机中,提出了基于支持向量域描述的模糊最小二乘支持向量回归机.新的隶属度的定义减弱了噪声点的影响.把所要求解的约束凸二次优化问题转化为正定线性方程组,并采用快速Cholesky分解的方法求解该方程组.在不牺牲训练速度的前提下,比支持向量机和最小二乘支持向量机具有更高的预测精度. 5.对半监督支持向量机进行研究.为了改进?TSVM的分类性能,引进了一个光滑分段函数,给出了光滑分段半监督支持向量机模型.光滑分段函数的逼近性能优于高斯近似函数.根据光滑分段半监督支持向量机的非凸特性,首次采用保证收敛的线性粒子群算法来训练半监督支持向量机,光滑分段半监督支持向量机在分类性能上优于?TSVM.
【学位授予单位】:西安电子科技大学
【学位级别】:博士
【学位授予年份】:2009
【分类号】:O212

手机知网App
【引证文献】
中国期刊全文数据库 前3条
1 张伟;贾蓉;;支持向量机在广义预测控制中的应用[J];信息技术;2012年10期
2 汤浩龙;和炳全;周薇;;基于SVM的银行个人贷款信用评估模型研究[J];西部经济管理论坛;2012年01期
3 张文倩;;基于灰度共生矩阵和分形的人群密度估计[J];电子测试;2012年05期
中国博士学位论文全文数据库 前4条
1 吴登丰;公立医院药品供应模式研究[D];武汉理工大学;2011年
2 常甜甜;支持向量机学习算法若干问题的研究[D];西安电子科技大学;2010年
3 刘路;基于改进支持向量机和纹理图像分析的旋转机械故障诊断[D];天津大学;2011年
4 杜喆;几类支持向量机变型算法的研究[D];西安电子科技大学;2009年
中国硕士学位论文全文数据库 前9条
1 滕金平;加权后验支持向量及其在上市公司财务信用评估中的应用[D];中南大学;2011年
2 徐雅洁;营养液多组分检测的关键技术研究[D];中国科学技术大学;2011年
3 位小记;数字通信信号的调制方式识别研究[D];哈尔滨工程大学;2011年
4 王立东;基于SCHKS-SSVM的通信信号调制方式识别研究[D];哈尔滨工程大学;2011年
5 曾令虎;局部支持向量机算法的研究与探讨[D];武汉工业学院;2011年
6 许明英;反馈增量学习算法及其在网络信息过滤中的应用研究[D];山东师范大学;2012年
7 吉敏;支持向量回归机在组合预测中的应用研究[D];东华大学;2011年
8 韦俊位;川中丘陵区坡面土壤侵蚀预测的人工智能建模研究[D];四川农业大学;2010年
9 黎学森;电力生产中异常人体行为识别的研究[D];华北电力大学;2012年
【参考文献】
中国期刊全文数据库 前10条
1 高学,金连文,尹俊勋,黄建成;一种基于支持向量机的手写汉字识别方法[J];电子学报;2002年05期
2 周伟达,张莉,焦李成;自适应支撑矢量机多用户检测[J];电子学报;2003年01期
3 张春城,周正欧;基于支持向量机的浅地层探地雷达目标分类识别研究[J];电子学报;2005年06期
4 熊金志;胡金莲;袁华强;胡天明;李广明;;一类光滑支持向量机新函数的研究[J];电子学报;2007年02期
5 郑胜,柳健,田金文;基于向量机的边缘检测算法优化研究[J];电子与信息学报;2005年05期
6 祁亨年,杨建刚,方陆明;基于多类支持向量机的遥感图像分类及其半监督式改进策略[J];复旦学报(自然科学版);2004年05期
7 王华忠,张雪申,俞金寿;基于支持向量机的故障诊断方法[J];华东理工大学学报;2004年02期
8 李兴斯;一类不可微优化问题的有效解法[J];中国科学(A辑 数学 物理学 天文学 技术科学);1994年04期
9 李晓黎,刘继敏,史忠植;基于支持向量机与无监督聚类相结合的中文网页分类器[J];计算机学报;2001年01期
10 朱永生,王成栋,张优云;二次损失函数支持向量机性能的研究[J];计算机学报;2003年08期
【共引文献】
中国期刊全文数据库 前10条
1 张世海,刘晓燕,欧进萍;高层结构智能选型知识发现及方法比较[J];四川建筑科学研究;2005年05期
2 冯清海;袁万城;樊启武;;基于FE—ANN—MC的结构可靠度计算方法研究[J];四川建筑科学研究;2008年04期
3 潘洁珠;半结构化数据及其数据模型[J];安徽教育学院学报;2003年06期
4 赵鹏,倪志伟,贾瑞玉;基于数据挖掘技术的范例库维护[J];安徽大学学报(自然科学版);2003年02期
5 王东霞;张楠;路晓丽;;基于育种算法的SVM参数优化[J];安徽大学学报(自然科学版);2009年04期
6 蒋利华;许峰;马昌凤;;非线性互补问题的无导数方法[J];安徽大学学报(自然科学版);2010年02期
7 王慧勤;雷刚;;预处理后新分裂下的SOR迭代法收敛性讨论[J];安徽大学学报(自然科学版);2010年04期
8 梁佩佩,杨丽萍;基于模糊关系数据库的聚类算法研究[J];安徽职业技术学院学报;2004年01期
9 陶秀凤,唐诗忠,周鸣争;基于支持向量机的软测量模型及应用[J];安徽工程科技学院学报(自然科学版);2004年02期
10 李峻;孙世群;;基于BP网络模型的青弋江水质预测研究[J];安徽工程科技学院学报(自然科学版);2008年02期
中国重要会议论文全文数据库 前10条
1 章曙光;;基于CBR的电力负荷预测系统的研究与实现[A];2005年“数字安徽”博士科技论坛论文集[C];2005年
2 ;A review on restoration of seismic wavefields based on regularization and compressive sensing[A];中国科学院地质与地球物理研究所第11届(2011年度)学术年会论文集(下)[C];2012年
3 ;An effective procedure exploiting unlabeled data to build monitoring system[A];中国科学院地质与地球物理研究所第11届(2011年度)学术年会论文集(下)[C];2012年
4 王国庆;李国福;李旭渊;;基于PSO-K均值聚类的核事故应急监测点位快速确定技术研究[A];全国危险物质与安全应急技术研讨会论文集(上)[C];2011年
5 宋海鹰;桂卫华;阳春华;;基于核偏最小二乘的简约最小二乘支持向量机及其应用研究[A];第二十六届中国控制会议论文集[C];2007年
6 宋海鹰;桂卫华;阳春华;;基于最小二乘支持向量机的Hammerstein-Wiener模型辨识[A];第二十六届中国控制会议论文集[C];2007年
7 ;Inverse System Control of Nonlinear Systems Using LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
8 ;A Novel Kernel PCA Support Vector Machine Algorithm with Feature Transition Function[A];第二十六届中国控制会议论文集[C];2007年
9 ;A Novel Proximal Support Vector Machine and Its Application in Radar Target Recognition[A];第二十六届中国控制会议论文集[C];2007年
10 ;A CDMA Signal Receiver Based on LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 侯婷;离散时间Markov跳变系统的稳定性与鲁棒H_2/H_∞控制[D];山东科技大学;2010年
2 王杰;基于人工智能的乒乓球比赛技战术诊断与评估研究[D];上海体育学院;2010年
3 赵莹;半监督支持向量机学习算法研究[D];哈尔滨工程大学;2010年
4 母丽华;煤矿安全预警系统的方法研究[D];哈尔滨工程大学;2010年
5 殷志伟;基于统计学习理论的分类方法研究[D];哈尔滨工程大学;2009年
6 朱广平;混响干扰中的信号检测技术研究[D];哈尔滨工程大学;2009年
7 汤春瑞;水下目标声图像多分辨率分析及识别研究[D];哈尔滨工程大学;2009年
8 孔凡芝;引线键合视觉检测关键技术研究[D];哈尔滨工程大学;2009年
9 牟向伟;模糊语义个性化推荐系统在电子政务中的应用研究[D];大连海事大学;2010年
10 郑大腾;柔性坐标测量机空间误差模型及最佳测量区研究[D];合肥工业大学;2010年
中国硕士学位论文全文数据库 前10条
1 曾传华;基于颜色和纹理特征的竹条分级方法研究[D];华中农业大学;2010年
2 展慧;基于多源信息融合技术的板栗分级检测方法研究[D];华中农业大学;2010年
3 杜二玲;拟概率空间上等均值噪声下统计学习理论的理论基础[D];河北大学;2007年
4 朱杰;一种基于聚类的支持向量机反问题求解算法[D];河北大学;2007年
5 代宏伟;布里渊散射水下探测目标的自动识别[D];南昌航空大学;2010年
6 李金华;基于SVM的多类文本分类研究[D];山东科技大学;2010年
7 刘志强;基于数据挖掘的客户行为分析和预测研究[D];山东科技大学;2010年
8 吴香庭;基于遗传算法的K-means聚类方法的研究[D];山东科技大学;2010年
9 田文娟;基于支持向量机的人民币序列号识别方法的研究[D];山东科技大学;2010年
10 孟培培;基于3S的土地督察信息系统研究[D];山东科技大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 黄在范;丁筱玲;施国英;郎需强;郑成淑;;花卉无土栽培营养液主要成分检测系统研究[J];山东农业科学;2009年12期
2 马昕;刘长龙;张贝克;;一种基于机器学习的专家系统知识获取方法[J];北京化工大学学报(自然科学版);2008年05期
3 李云开;杨培岭;田英杰;任树梅;赵焕勋;;强烈侵蚀产沙区小流域土壤侵蚀强度的支持向量机预报模型研究[J];北京林业大学学报;2007年03期
4 刘阳,徐卓君,魏萍,刘书芬;小流域水土流失的数学模型及数值模拟[J];吉林大学学报(信息科学版);2004年05期
5 王协康,方铎;土壤侵蚀产沙量的人工神经网络模拟[J];成都理工学院学报;2000年02期
6 陈薇;秦琳琳;吴刚;薛美盛;王俊;;硝酸根离子选择电极建模[J];传感技术学报;2007年01期
7 尹伟;章卫国;宁东方;孙勇;李斌;;基于差分进化交叉验证SVM的飞控系统传感器故障预测学习算法研究[J];传感技术学报;2008年11期
8 张元;陈亮;王文种;王军战;;遥感图像土地覆盖分类中多源特征数据选择研究[J];测绘科学;2009年02期
9 袁玉萍;邹艳华;;基于支持向量机LOO误差估计的研究[J];重庆科技学院学报(自然科学版);2009年04期
10 张旻,程家兴,樊甫华,刘慧婷;利用Hilbert变换提取信号瞬时特征参数的问题研究[J];电讯技术;2003年04期
中国重要会议论文全文数据库 前1条
1 汤俊;肖健华;吴今培;;基于支持向量回归的商业银行信贷风险评估[A];中国运筹学会第八届学术交流会论文集[C];2006年
中国博士学位论文全文数据库 前10条
1 方付建;突发事件网络舆情演变研究[D];华中科技大学;2011年
2 高峰;图像配准中的几何特征不确定性建模及匹配方法研究[D];国防科学技术大学;2011年
3 张莉;支撑矢量机与核方法研究[D];西安电子科技大学;2002年
4 夏迎炬;文本过滤关键技术研究[D];复旦大学;2003年
5 周伟达;核机器学习方法研究[D];西安电子科技大学;2003年
6 李立轻;基于计算机视觉的织物疵点自动检测研究[D];东华大学;2003年
7 董春曦;支持向量机及其在入侵检测中的应用研究[D];西安电子科技大学;2004年
8 姚剑敏;粒子滤波跟踪方法研究[D];中国科学院研究生院(长春光学精密机械与物理研究所);2005年
9 郑春红;支撑矢量机应用的关键技术研究[D];西安电子科技大学;2005年
10 周水生;竞争学习向量量化和支持向量机的关键技术研究[D];西安电子科技大学;2005年
中国硕士学位论文全文数据库 前10条
1 吴夏来;广义预测控制简化算法研究[D];浙江理工大学;2010年
2 甘海涛;有监督的模糊聚类算法研究[D];武汉工业学院;2010年
3 王培;前景提取算法的研究与改进[D];西安电子科技大学;2011年
4 张晶;人体行为识别技术研究[D];重庆大学;2011年
5 陈晓燕;紫色土坡面土壤侵蚀预测模型应用研究[D];西南农业大学;2003年
6 焦俊;基于径向基函数(RBF)和D-S证据理论的循环营养液多组分在线检测系统的研究[D];安徽农业大学;2003年
7 孙岩国;基于Internet的中文文本过滤系统的研究与实践[D];兰州理工大学;2004年
8 侯艳丽;基于小波变换和聚类技术的纹理分割算法研究[D];河南大学;2005年
9 王金宝;基于增量学习和阀值优化的自适应信息过滤[D];大连理工大学;2006年
10 龙志军;基于系统动力学的供应链库存控制机理研究[D];武汉大学;2005年
【二级引证文献】
中国博士学位论文全文数据库 前2条
1 韩永华;农田图像的统计迭代分割方法研究[D];浙江大学;2011年
2 李玉萍;基于先进计算的智能入侵检测系统研究[D];中国地震局地球物理研究所;2012年
中国硕士学位论文全文数据库 前10条
1 张钊;基于无偏估计方程的模型选择[D];山东经济学院;2011年
2 宋玉丹;针对特征缺省数据集的模式识别方法与应用研究[D];江南大学;2011年
3 成鹏;应用少量标记样本的支持向量机分类研究[D];陕西师范大学;2011年
4 李广宇;基于粒子蜂群算法优化的多支持向量机软测量建模方法研究[D];中南大学;2011年
5 曹灿;支持向量机预测在我国城镇失业率研究中的实证分析[D];西南交通大学;2011年
6 崔静;支持向量机变体算法研究与改进[D];南京林业大学;2011年
7 范莹莹;基于最小二乘支持向量机的河涌水质预测研究[D];广东工业大学;2012年
8 顾天鹏;基于支持向量聚类的自动图像标注[D];大连理工大学;2012年
9 宋同辉;汽轮机排汽湿度软测量技术研究[D];东北电力大学;2012年
10 丁德豪;单塔斜拉桥模型修正研究[D];西南交通大学;2012年
【二级参考文献】
中国期刊全文数据库 前10条
1 姬翔,钟义信;一种神经网络多用户检测器[J];电子学报;1999年12期
2 顾炜,翟东辉,张立明;对复杂混沌时间序列快速预测的前馈神经网络[J];复旦学报(自然科学版);1995年03期
3 李兴斯;一类不可微优化问题的有效解法[J];中国科学(A辑 数学 物理学 天文学 技术科学);1994年04期
4 张志华,郑南宁,史罡;极大熵聚类算法及其全局收敛性分析[J];中国科学E辑:技术科学;2001年01期
5 孙星明,杨茂江,刘国华,胡运发;完全基于结构知识的汉字笔画抽取方法[J];计算机研究与发展;2000年05期
6 李晓黎,史忠植;用数据采掘方法获取汉语词性标注规则[J];计算机研究与发展;2000年12期
7 祁亨年;支持向量机及其应用研究综述[J];计算机工程;2004年10期
8 袁玉波,严杰,徐成贤;多项式光滑的支撑向量机[J];计算机学报;2005年01期
9 唐焕文,张立卫,王雪华;一类约束不可微优化问题的极大熵方法[J];计算数学;1993年03期
10 陈国庆,赵素芬;熵函数法的数学理论[J];计算数学;1999年04期
中国博士学位论文全文数据库 前1条
1 孙宗海;支持向量机及其在控制中的应用研究[D];浙江大学;2003年
【相似文献】
中国期刊全文数据库 前10条
1 李钧涛;杨瑞峰;左红亮;;统计机器学习研究[J];河南师范大学学报(自然科学版);2010年06期
2 胡国胜;支持向量机算法及应用[J];现代电子技术;2005年03期
3 王炜,刘悦,李国正,吴耿锋,林命周,马钦忠,赵利飞;中国大陆强震时间序列预测的支持向量机方法[J];地震;2005年04期
4 张根明;向晓骥;;基于支持向量机的上市公司财务预警模型研究[J];科技管理研究;2007年04期
5 孔波;郑喜英;;支持向量机多类分类方法研究[J];河南教育学院学报(自然科学版);2010年02期
6 赵洪波;;基于遗传算法的进化支持向量机研究[J];绍兴文理学院学报(自然科学版);2004年03期
7 张浩然,汪晓东;支持向量机的学习方法综述[J];浙江师范大学学报(自然科学版);2005年03期
8 王炜;刘悦;李国正;吴耿锋;马钦忠;赵利飞;林命週;;我国大陆强震预测的支持向量机方法[J];地震学报;2006年01期
9 雷辉;邓彦龙;李根军;钟君君;;基于支持向量机的工程项目风险预测[J];北方经济;2006年20期
10 孙向东,韦柳静,黄日波;蛋白质二级结构预测的支持向量机模型研究[J];广西农业生物科学;2004年01期
中国重要会议论文全文数据库 前10条
1 徐会敏;王玉兰;;线性规划支持向量机模型的研究[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
2 宋普云;沈雪勤;吴清;;一种改进的SMO算法[A];第六届全国计算机应用联合学术会议论文集[C];2002年
3 郭崇慧;陆玉昌;唐焕文;;支持向量机优化问题的熵优化方法[A];2006年中国运筹学会数学规划分会代表会议暨第六届学术会议论文集[C];2006年
4 付伟基;王俊;刘丹军;赵峰;;基于最小二乘支持向量机的云量释用预报技术研究[A];第27届中国气象学会年会灾害天气研究与预报分会场论文集[C];2010年
5 刘斌;魏贤龙;李卓;;基于支持向量机的Widrow自适应滤波器[A];2006中国控制与决策学术年会论文集[C];2006年
6 孙向东;黄日波;;运用SVMs原理预测蛋白质二级结构研究[A];广西微生物学会2003年学术年会论文集[C];2003年
7 张国宣;孔锐;施泽生;郭立;;一种新的基于聚类的SVM迭代算法[A];第二届全国信息获取与处理学术会议论文集[C];2004年
8 赵晶;高隽;张旭东;谢昭;;支持向量机综述[A];全国第十五届计算机科学与技术应用学术会议论文集[C];2003年
9 师旭超;巴松涛;;基于支持向量机方法的深基坑变形预测[A];科技、工程与经济社会协调发展——河南省第四届青年学术年会论文集(上册)[C];2004年
10 荣海娜;张葛祥;张翠芳;;基于支持向量机的非线性系统辨识方法[A];中国自动化学会、中国仪器仪表学会2004年西南三省一市自动化与仪器仪表学术年会论文集[C];2004年
中国重要报纸全文数据库 前10条
1 本报记者 娄立平;万通地产 首倡“二次规划”[N];中国房地产报;2005年
2 本报记者  孙蔚;社区二次规划能否弥补先天不足[N];中国消费者报;2006年
3 中国楼市记者  张俐;寻求社区可持续发展[N];中国建设报;2006年
4 张璐通讯员 吴树群;科贸金街整体升级[N];天津日报;2007年
5 本报记者  马琳;开发商的物业情节:自给自足还是专业分工?[N];中国房地产报;2006年
6 本报记者 魏生革 通讯员 李永坚;力促全市招商引资[N];韶关日报;2006年
7 种筱娜 程敏;圆明新园:追“新”十载风华更盛[N];珠海特区报;2007年
8 徐钰烨;科技新城规划突出五大重点[N];江阴日报;2008年
9 本报记者 许元强 闵德强;“第二次浪潮”涛声急[N];无锡日报;2006年
10 乔雯万海;万通地产升级改造已建社区安防系统[N];消费日报;2007年
中国博士学位论文全文数据库 前10条
1 吴青;基于优化理论的支持向量机学习算法研究[D];西安电子科技大学;2009年
2 马儒宁;神经网络与支持向量机相关问题研究[D];复旦大学;2005年
3 周水生;竞争学习向量量化和支持向量机的关键技术研究[D];西安电子科技大学;2005年
4 李忠伟;支持向量机学习算法研究[D];哈尔滨工程大学;2006年
5 武国正;支持向量机在湖泊富营养化评价及水质预测中的应用研究[D];内蒙古农业大学;2008年
6 杨金芳;支持向量回归在预测控制中的应用研究[D];华北电力大学(河北);2007年
7 任东;基于支持向量机的植物病害识别研究[D];吉林大学;2007年
8 张超;基于支持向量机的汽轮机轴系振动故障智能诊断研究[D];华北电力大学(河北);2009年
9 张永;基于模糊支持向量机的多类分类算法研究[D];大连理工大学;2008年
10 梁力文;基于支持向量机的小波滤噪短波近红外光谱在药品定量分析中的研究[D];吉林大学;2009年
中国硕士学位论文全文数据库 前10条
1 赖永标;支持向量机在地下工程中的应用研究[D];山东科技大学;2004年
2 刘胜利;基于SVM的网络入侵检测研究[D];大连海事大学;2004年
3 滕文凯;支持向量机反问题及其解法[D];河北大学;2005年
4 杜晓东;基于支持向量机的数据挖掘方法[D];山东大学;2005年
5 王李东;基于支持向量机(SVM)的短期负荷预测的研究[D];华中科技大学;2005年
6 詹超;支持向量机在基因表达数据分类中的研究[D];武汉理工大学;2006年
7 马洁;基于支持向量机的股市预测问题研究[D];天津大学;2006年
8 王忠文;统计学习理论及其在地学中的应用研究[D];吉林大学;2007年
9 蒋琳琼;基于支持向量机的货币识别研究[D];中南大学;2007年
10 罗畅;基于SVM的车牌字符识别研究[D];华中科技大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026