收藏本站
《北京交通大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

支持向量机模型选择研究

汪廷华  
【摘要】: 统计学习理论(Statistical Learning Theory,STL)为系统地研究有限样本情况下的机器学习问题提供了一套比较完整的理论体系。支持向量机(Support VectorMachine,SVM)是在该理论体系下产生的一种新的机器学习方法,它能较好地解决小样本、非线性、过学习、维数灾难和局部极小等问题,具有很强的泛化能力。支持向量机目前已经广泛地应用于模式识别、回归估计、概率密度估计等各个领域。不仅如此,支持向量机的出现推动了基于核的学习方法(Kernel-based LearningMethods)的迅速发展,该方法使得研究人员能够高效地分析非线性关系,而这种高效率原先只有线性算法才能得到。目前,以支持向量机为主要代表的核方法是机器学习领域研究的焦点课题之一。 众所周知,支持向量机的性能主要取决于两个因素:(ⅰ)核函数的选择;(ⅱ)惩罚系数(正则化参数)C的选择。对于具体的问题,如何确定SVM中的核函数与惩罚系数就是所谓的模型选择问题。模型选择,尤其是核函数的选择是支持向量机研究的中心内容之一。本文针对模型选择问题,特别是核函数的选择问题进行了较为深入的研究,其中主要的工作和贡献如下: 1.系统地归纳总结了统计学习理论、核函数特征空间和支持向量机的有关理论与算法。这些内容是本文工作的基础,作者力求在介绍这些内容时尽量做到简洁但又不失完整与系统性;同时在许多内容的叙述中也融入了作者自己学习的一些体会。 2.研究了SVM参数的基本语义,指出数据集中的不同特征和不同样本对分类结果的影响可以分别由核参数和惩罚系数来刻画,从而样本重要性和特征重要性的考察可以归结到SVM的模型选择问题来研究。在对样本加权SVM模型(例如模糊SVM)分析的基础上,提出了特征加权SVM模型,即FWSVM。FWSVM本质上就是SVM与特征加权的结合,本文将特征加权引入到核函数的构造中,从而可以从核函数的角度来研究特征加权对SVM分类性能的影响。理论分析和数值实验的结果均表明,FWSVM比标准的SVM的泛化能力要好。 3.在系统归纳总结SVM模型选择、尤其是核函数参数选择的常用方法(例如交叉验证技术、最小化LOO误差及其上界、优化核评估标准)之后,进一步研究了核极化的几何意义,指出高的核极化值意味着同类的数据点相互靠近而异类的数据点则相互远离,并提出了一种基于优化核极化的广义Gaussian核的参数选择算法KPG。和优化后的标准Gaussian核相比,使用优化后的广义Gaussian核的SVM具有更好的泛化能力。此外,提出了KPG算法的一种变体,即KPFS算法,并通过实验初步验证了KPFS用于SVM特征选择的有效性。 4.在局部Fisher判别分析算法的启发下,对存在局部结构信息条件下的核评估标准问题进行了深入地讨论,指出目前常用的核评估标准都没有考虑同类数据的局部结构信息对分类性能的影响,这种“全局性”的评估标准有可能会限制增强数据可分性的自由度。基于这个缺陷,提出了一个“局部化”的核评估标准,即局部核极化。局部核极化通过引入亲和系数在一定程度上保持了同类数据的局部结构信息,能够进一步增强异类数据之间的可分性。该标准的有效性通过UCI数据集上的实验得到了充分的验证。
【学位授予单位】:北京交通大学
【学位级别】:博士
【学位授予年份】:2010
【分类号】:TP18

【引证文献】
中国博士学位论文全文数据库 前3条
1 王开义;基于支持向量机的农产品生产关键控制点发现研究[D];北京工业大学;2011年
2 刘路;基于改进支持向量机和纹理图像分析的旋转机械故障诊断[D];天津大学;2011年
3 郝研;分形维数特性分析及故障诊断分形方法研究[D];天津大学;2012年
中国硕士学位论文全文数据库 前2条
1 顾晓光;基于小波变换和支持向量机的电力电子电路故障诊断研究[D];河南大学;2011年
2 曹灿;支持向量机预测在我国城镇失业率研究中的实证分析[D];西南交通大学;2011年
【参考文献】
中国期刊全文数据库 前10条
1 牟少敏;田盛丰;尹传环;;基于协同聚类的多核学习[J];北京交通大学学报;2008年02期
2 李昆仑,黄厚宽,田盛丰;模糊多类SVM模型[J];电子学报;2004年05期
3 李洁;高新波;焦李成;;基于特征加权的模糊聚类新算法[J];电子学报;2006年01期
4 乔立岩;彭喜元;彭宇;;基于微粒群算法和支持向量机的特征子集选择方法[J];电子学报;2006年03期
5 常群;王晓龙;林沂蒙;王熙照;Daniel S.Yeung;;支持向量分类和多宽度高斯核[J];电子学报;2007年03期
6 尹传环;田盛丰;牟少敏;;一种面向间隙核函数的快速算法[J];电子学报;2007年05期
7 王娜;李霞;;基于类加权的双ν支持向量机[J];电子与信息学报;2007年04期
8 刘向东 ,骆斌 ,陈兆乾;支持向量机最优模型选择的研究[J];计算机研究与发展;2005年04期
9 业宁;孙瑞祥;董逸生;;多拉格朗日乘子协同优化的SVM快速学习算法研究[J];计算机研究与发展;2006年03期
10 常群;王晓龙;林沂蒙;Daniel S.Yeung;陈清才;;通过全局核降低高斯核的局部风险与基于遗传算法的两阶段模型选择[J];计算机研究与发展;2007年03期
【共引文献】
中国期刊全文数据库 前10条
1 张世海,刘晓燕,欧进萍;高层结构智能选型知识发现及方法比较[J];四川建筑科学研究;2005年05期
2 冀卫兴;陈忠海;方筝;;基于DE—BP算法的空调负荷预测研究[J];四川建筑科学研究;2010年05期
3 潘洁珠;半结构化数据及其数据模型[J];安徽教育学院学报;2003年06期
4 赵鹏,倪志伟,贾瑞玉;基于数据挖掘技术的范例库维护[J];安徽大学学报(自然科学版);2003年02期
5 王东霞;张楠;路晓丽;;基于育种算法的SVM参数优化[J];安徽大学学报(自然科学版);2009年04期
6 刘金红;陆余良;施凡;宋舜宏;;基于语义上下文分析的因特网人物信息挖掘[J];安徽大学学报(自然科学版);2009年04期
7 庄振华;王年;李学俊;梁栋;王继;;癌症基因表达数据的熵度量分类方法[J];安徽大学学报(自然科学版);2010年02期
8 王永梅;胡学钢;;决策树中ID3算法的研究[J];安徽大学学报(自然科学版);2011年03期
9 陈乐;王年;苏亮亮;王蕊平;;基于邻接谱主分量分析的肿瘤分类方法[J];安徽大学学报(自然科学版);2011年04期
10 叶爱霞;王年;苏亮亮;;基于非负矩阵分解和Normal_Matrix的肿瘤基因分类[J];安徽大学学报(自然科学版);2012年03期
中国重要会议论文全文数据库 前10条
1 叶红云;倪志伟;陈恩红;;一种混合型集成学习演化决策树算法[A];2005年“数字安徽”博士科技论坛论文集[C];2005年
2 章曙光;;基于CBR的电力负荷预测系统的研究与实现[A];2005年“数字安徽”博士科技论坛论文集[C];2005年
3 ;An effective procedure exploiting unlabeled data to build monitoring system[A];中国科学院地质与地球物理研究所第11届(2011年度)学术年会论文集(下)[C];2012年
4 宋海鹰;桂卫华;阳春华;;基于核偏最小二乘的简约最小二乘支持向量机及其应用研究[A];第二十六届中国控制会议论文集[C];2007年
5 宋海鹰;桂卫华;阳春华;;基于最小二乘支持向量机的Hammerstein-Wiener模型辨识[A];第二十六届中国控制会议论文集[C];2007年
6 ;Inverse System Control of Nonlinear Systems Using LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
7 ;A Novel Kernel PCA Support Vector Machine Algorithm with Feature Transition Function[A];第二十六届中国控制会议论文集[C];2007年
8 ;A Novel Proximal Support Vector Machine and Its Application in Radar Target Recognition[A];第二十六届中国控制会议论文集[C];2007年
9 ;A CDMA Signal Receiver Based on LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
10 周绮凤;林成德;罗林开;彭洪;;一种基于黎曼度量的训练样本类不平衡SVM分类方法研究[A];第二十六届中国控制会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 王杰;基于人工智能的乒乓球比赛技战术诊断与评估研究[D];上海体育学院;2010年
2 赵莹;半监督支持向量机学习算法研究[D];哈尔滨工程大学;2010年
3 于化龙;基于DNA微阵列数据的癌症分类技术研究[D];哈尔滨工程大学;2010年
4 母丽华;煤矿安全预警系统的方法研究[D];哈尔滨工程大学;2010年
5 张泽宝;空间数据库的索引技术研究[D];哈尔滨工程大学;2009年
6 梁洪;基于内容的医学图像检索及语义建模关键技术研究[D];哈尔滨工程大学;2010年
7 刘效武;基于多源融合的网络安全态势量化感知与评估[D];哈尔滨工程大学;2009年
8 殷志伟;基于统计学习理论的分类方法研究[D];哈尔滨工程大学;2009年
9 朱广平;混响干扰中的信号检测技术研究[D];哈尔滨工程大学;2009年
10 孔凡芝;引线键合视觉检测关键技术研究[D];哈尔滨工程大学;2009年
中国硕士学位论文全文数据库 前10条
1 曾传华;基于颜色和纹理特征的竹条分级方法研究[D];华中农业大学;2010年
2 展慧;基于多源信息融合技术的板栗分级检测方法研究[D];华中农业大学;2010年
3 杜二玲;拟概率空间上等均值噪声下统计学习理论的理论基础[D];河北大学;2007年
4 朱杰;一种基于聚类的支持向量机反问题求解算法[D];河北大学;2007年
5 李金华;基于SVM的多类文本分类研究[D];山东科技大学;2010年
6 马冉冉;集成学习算法研究[D];山东科技大学;2010年
7 刘志强;基于数据挖掘的客户行为分析和预测研究[D];山东科技大学;2010年
8 吴香庭;基于遗传算法的K-means聚类方法的研究[D];山东科技大学;2010年
9 田文娟;基于支持向量机的人民币序列号识别方法的研究[D];山东科技大学;2010年
10 徐芳芳;优化问题的PVD算法研究[D];山东科技大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 李凯,黄厚宽;支持向量机增量学习算法研究[J];北方交通大学学报;2003年05期
2 杜修力;何立志;侯伟;;基于经验模态分解(EMD)的小波阈值除噪方法[J];北京工业大学学报;2007年03期
3 王祖林,周荫清;多重分形谱及其计算[J];北京航空航天大学学报;2000年03期
4 郭辉;徐浩军;刘凌;;基于回归型支持向量机的空战目标威胁评估[J];北京航空航天大学学报;2010年01期
5 马昕;刘长龙;张贝克;;一种基于机器学习的专家系统知识获取方法[J];北京化工大学学报(自然科学版);2008年05期
6 刘彬;王霄;谢平;;基于小波多重分形的复杂机械故障诊断方法研究[J];传感技术学报;2006年01期
7 尹伟;章卫国;宁东方;孙勇;李斌;;基于差分进化交叉验证SVM的飞控系统传感器故障预测学习算法研究[J];传感技术学报;2008年11期
8 袁玉萍;邹艳华;;基于支持向量机LOO误差估计的研究[J];重庆科技学院学报(自然科学版);2009年04期
9 宋芳;;基于GA-SVM模型的福建省城镇登记失业率预测[J];科技和产业;2009年09期
10 王东林,张耀升;电力电子电路块脉冲在线参数和状态辨识[J];电工技术学报;1995年04期
中国博士学位论文全文数据库 前10条
1 刘路;基于改进支持向量机和纹理图像分析的旋转机械故障诊断[D];天津大学;2011年
2 徐耀群;混沌神经网络研究及应用[D];哈尔滨工程大学;2002年
3 刘广利;基于支持向量机的经济预警方法研究[D];中国农业大学;2003年
4 张莉;支撑矢量机与核方法研究[D];西安电子科技大学;2002年
5 李立轻;基于计算机视觉的织物疵点自动检测研究[D];东华大学;2003年
6 姜波;灰色系统与神经网络分析方法及其应用研究[D];华中科技大学;2004年
7 孙喜梅;城市路网实时动态交通信息的组合预测模型和方法研究[D];吉林大学;2002年
8 常城;国家级高新技术开发区经济发展灰色预测模型研究[D];哈尔滨工程大学;2005年
9 古红英;基于统计学习理论的虹膜识别研究[D];浙江大学;2005年
10 高宏力;切削加工过程中刀具磨损的智能监测技术研究[D];西南交通大学;2005年
中国硕士学位论文全文数据库 前10条
1 刘军;故障诊断方法研究及软件开发[D];大连理工大学;2000年
2 唐文广;基于模糊样本的统计学习理论关键定理[D];河北大学;2004年
3 白云超;可能性空间上统计学习理论的关键定理[D];河北大学;2004年
4 余祖龙;基于WEB的浓缩苹果汁HACCP质量控制与信息管理系统的研究与设计[D];西北农林科技大学;2004年
5 徐义田;支持向量回归算法的研究及其在食物安全中的应用[D];中国农业大学;2005年
6 侯艳丽;基于小波变换和聚类技术的纹理分割算法研究[D];河南大学;2005年
7 陶小龙;基于支持向量机的股市预测[D];北京工业大学;2005年
8 禹文龙;HACCP在UHT乳生产中的应用及CCPs信息的计算机管理[D];中国农业大学;2005年
9 刘杨;基于粗糙样本的统计学习理论的基础[D];河北大学;2006年
10 王磊;我国经济增长与失业的非线性关系研究[D];吉林大学;2006年
【二级引证文献】
中国博士学位论文全文数据库 前1条
1 郝研;分形维数特性分析及故障诊断分形方法研究[D];天津大学;2012年
中国硕士学位论文全文数据库 前1条
1 吕志刚;基于形态小波和最小二乘支持向量机的滚动轴承故障诊断研究[D];电子科技大学;2012年
【二级参考文献】
中国期刊全文数据库 前10条
1 孙全,叶秀清,顾伟康;一种新的基于证据理论的合成公式[J];电子学报;2000年08期
2 周伟达,张莉,焦李成;线性规划支撑矢量机[J];电子学报;2001年11期
3 李蓉 ,叶世伟 ,史忠植;SVM-KNN分类器——一种提高SVM分类精度的新方法[J];电子学报;2002年05期
4 姚立红 ,訾小超 ,黄皓 ,茅兵 ,谢立;基于系统调用特征的入侵检测研究[J];电子学报;2003年08期
5 李洁,高新波,焦李成;一种基于CSA的混和属性特征大数据集聚类算法[J];电子学报;2004年03期
6 田盛丰,黄厚宽;基于支持向量机的数据库学习算法[J];计算机研究与发展;2000年01期
7 张文生,王珏,戴国忠;支持向量机中引入后验概率的理论和方法研究[J];计算机研究与发展;2002年04期
8 刘学军,陈松灿,彭宏京;基于支持向量机的计算机键盘用户身份验真[J];计算机研究与发展;2002年09期
9 刘向东 ,骆斌 ,陈兆乾;支持向量机最优模型选择的研究[J];计算机研究与发展;2005年04期
10 陈彬,洪家荣,王亚东;最优特征子集选择问题[J];计算机学报;1997年02期
中国博士学位论文全文数据库 前1条
1 范昕炜;支持向量机算法的研究及其应用[D];浙江大学;2003年
【相似文献】
中国期刊全文数据库 前10条
1 韦抒;;应用支持向量机实现转子故障的模式分类[J];制造业自动化;2009年07期
2 谢飞;;支持向量机及其应用研究[J];安徽教育学院学报;2007年03期
3 姚全珠;田元;王季;杨增辉;张楠;;基于最小二乘支持向量机的非平衡分布数据分类[J];计算机工程与应用;2008年05期
4 林长方;;支持向量机及其应用研究[J];和田师范专科学校学报;2010年05期
5 周亚同,张太镒,刘海员;基于核的机器学习方法及其在多用户检测中的应用[J];通信学报;2005年07期
6 陈立孚,周宁,李丹;基于机器学习的自动文本分类模型研究[J];现代图书情报技术;2005年10期
7 林智勇;郝志峰;杨晓伟;;不平衡数据分类的研究现状[J];计算机应用研究;2008年02期
8 张洪胜;耿焕同;喻为民;;有限样本下中文垃圾邮件过滤的研究与实现[J];计算机应用与软件;2008年01期
9 李卓;刘斌;刘铁男;任珍珍;;基于支持向量机的抽油机故障诊断研究[J];微计算机信息;2006年07期
10 刘解放;侯振雨;吴亮;;支持向量回归及其在农产品成分分析中的应用[J];广东农业科学;2007年12期
中国重要会议论文全文数据库 前10条
1 宋普云;沈雪勤;吴清;;一种改进的SMO算法[A];第六届全国计算机应用联合学术会议论文集[C];2002年
2 刘伍颖;王挺;;一种多过滤器集成学习垃圾邮件过滤方法[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
3 章成志;;基于机器学习的文本聚类描述算法研究[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
4 晏庆华;;支持向量机算法综述[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
5 程国建;蔡磊;潘华贤;;核向量机在大规模机器学习中的应用[A];第十一届中国青年信息与管理学者大会论文集[C];2009年
6 谢湘;匡镜明;;支持向量机在语音识别中的应用研究[A];现代通信理论与信号处理进展——2003年通信理论与信号处理年会论文集[C];2003年
7 蒋铁军;张怀强;李积源;;多变量系统预测的支持向量机方法研究[A];管理科学与系统科学研究新进展——第7届全国青年管理科学与系统科学学术会议论文集[C];2003年
8 尹钟;张建华;;基于支持向量机方法的过程操作员功能状态分类[A];中国自动化学会控制理论专业委员会A卷[C];2011年
9 杜晓东;李岐强;;基于数据几何特征的SVM改进方法[A];第16届中国过程控制学术年会暨第4届全国故障诊断与安全性学术会议论文集[C];2005年
10 李巍华;刘雯;;基于主元分析和直推式支持向量机的齿轮早期故障诊断[A];第十二届全国设备故障诊断学术会议论文集[C];2010年
中国重要报纸全文数据库 前10条
1 黎骊/文 [美] Tom M.Mitchell 著;机器学习与智能化社会[N];中国邮政报;2003年
2 本报记者 余建斌;机器学习与互联网搜索[N];人民日报;2011年
3 本报记者 张晔通讯员 李玮;周志华:永不墨守成规[N];科技日报;2008年
4 记者 何边;网络化激活人工智能[N];计算机世界;2001年
5 首创期货研发中心高级研究员 易骥;套期保值实证分析及模型选择[N];期货日报;2006年
6 首创期货研发中心金融工程组 徐泽平;方差-协方差法的VaR计量模型选择[N];期货日报;2007年
7 何清 史忠植 王伟;搜索引擎的前沿技术[N];计算机世界;2006年
8 傅秋瑛;默默耕耘数十载 自主创新结硕果[N];科技日报;2006年
9 王育昕吴红梅;高水平原创性科技成果大量涌现[N];新华日报;2008年
10 杰逊;微软的第一个搜索技术掌门[N];中国计算机报;2006年
中国博士学位论文全文数据库 前10条
1 汪廷华;支持向量机模型选择研究[D];北京交通大学;2010年
2 李忠伟;支持向量机学习算法研究[D];哈尔滨工程大学;2006年
3 王国胜;支持向量机的理论与算法研究[D];北京邮电大学;2008年
4 罗瑜;支持向量机在机器学习中的应用研究[D];西南交通大学;2007年
5 常群;支持向量机的核方法及其模型选择[D];哈尔滨工业大学;2007年
6 田英杰;支持向量回归机及其应用研究[D];中国农业大学;2005年
7 徐海祥;基于支持向量机方法的图像分割与目标分类[D];华中科技大学;2005年
8 武国正;支持向量机在湖泊富营养化评价及水质预测中的应用研究[D];内蒙古农业大学;2008年
9 张超;基于支持向量机的汽轮机轴系振动故障智能诊断研究[D];华北电力大学(河北);2009年
10 姜静清;最小二乘支持向量机算法及应用研究[D];吉林大学;2007年
中国硕士学位论文全文数据库 前10条
1 张昕;基于SVM方法的医学图像分类研究[D];浙江大学;2006年
2 王晶;支持向量机及其在癌症诊断中的应用研究[D];东北师范大学;2006年
3 马波;支持向量机多类分类算法的分析与设计[D];扬州大学;2008年
4 杨雪;支持向量机多类分类方法的研究[D];哈尔滨工程大学;2006年
5 刘华煜;基于支持向量机的机器学习研究[D];大庆石油学院;2005年
6 马金刚;基于向量空间的信息过滤关键技术研究[D];山东师范大学;2006年
7 刘维会;不平衡数据集上支持向量机算法研究[D];山东科技大学;2010年
8 赵斌;多值SVM分类投票法的改进[D];武汉科技大学;2007年
9 赵莹;基于向量投影的支持向量机增量学习算法[D];哈尔滨工程大学;2007年
10 黄波;基于支持向量机的多示例学习研究与应用[D];中国地质大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026