收藏本站
《哈尔滨工业大学》 2007年
收藏 | 手机打开
二维码
手机客户端打开本文

支持向量机的核方法及其模型选择

常群  
【摘要】: 支持向量机是20世纪90年代发展起来的学习机器模型,通过控制学习机器的容量和经验误差,构造对未来数据的预测规则。支持向量机已被广泛的应用于机器学习的多个领域,在模式识别、分类、函数逼近、聚类等领域都有高性能的表现。 一般地,支持向量机通过核函数工作在特征空间,也就是,在输入空间无法处理的非线性问题可在特征空间中获得线性性能,从而有利于问题的解决。核函数是支持向量机模型的主要元素,直接影响其性能。一切数据之间的依赖关系、先验知识都通过核函数度量和携带。因此研究支持向量机的核方法对于提高支持向量机的性能、推广支持向量机的应用有重要的意义。 仅仅有高性能的核函数对于构造支持向量机模型是不充分的,还要有与之对应的高性能模型选择算法。模型选择算法通过发现最优的模型参数,从而使支持向量机达到最好的性能。 单类支持向量机是一个无监督的学习机器模型,由于缺乏模型选择的标准,其模型选择问题一直没有解决。虽然其模型参数对模型的影响被细致的讨论过,但模型选择一直是基于手工的方式解决,这显然缺乏合理性。文中指出,单类支持向量机的模型选择问题,可类比于一个开环系统,由于缺乏反馈信息,所以模型选择的切入点只能从优化主问题入手。通过优化主问题的目标函数,为单类支持向量机的模型选择找到可以依赖的标准。模型选择的迭代优化过程通过遗传算法实现,并通过构造性实验验证了算法的合理性。 不变核/局部核,如高斯核、拉普拉斯核,在学习中存在局部风险,而且其依赖的距离度量也缺乏灵活性。文中通过构造一个全局核,捆绑在局部核上,从而提高局部核的性能,其意义是双重的:1)全局核增加了局部核的全局因素,从而使局部风险降低;2)通过全局核的间接作用,使得局部核(高斯核、拉普拉斯核)中的L1距离、L2距离抓取数据之间依赖关系的能力变强了。然后针对提出的新核,提出了基于遗传算法的两阶段模型选择方法为支持向量机选择模型参数。最后通过实验验证了新核及其模型选择算法的有效性。 在支持向量分类中,对于具体的分类任务,高斯核存在一个全局最优的核宽度数值。但由于样本空间的分布不均匀,高斯核并不是处处适应的。在样本的稠密区域,会存在过学习现象;在样本的稀疏区域,会存在欠学习现象。所谓的全局最优的核宽度数值,不过是在过学习风险和欠学习风险的一个折中而已。文中研究了高斯核的局部提高方法:1)通过引入一个伪一致性变换,从而间接修改在再生核希尔伯特空间中黎曼流形上定义的黎曼度量的柔性,使得在空间的稠密区域,用小尺度的黎曼度量,在空间的稀疏区域,用大尺度的黎曼度量;2)在样本的高密度区域用小的核宽度值,在样本的稀疏区域用大的核宽度值。考虑到局部提高问题的复杂性,文中的方法可看成是解决一个问题的阶段性成果,而不是结束。 支持向量分类时,特征空间中各维的重要性通过权值向量有清晰的描述,但是在输入空间中,高斯核对各个属性的重要性不加区分。显然各个属性对分类的贡献一般是不相同的,为了体现这种差别从而提高支持向量机的泛化能力,提出了多宽度高斯核的概念。多宽度高斯核增加了支持向量机的超级参数,针对这一情况,文中又进一步提出了支持向量机的多参数模型选择算法。
【学位授予单位】:哈尔滨工业大学
【学位级别】:博士
【学位授予年份】:2007
【分类号】:TP181

【引证文献】
中国期刊全文数据库 前3条
1 任海涛;李业丽;陆利坤;;傅里叶描述子在商标图像分类中的应用[J];北京印刷学院学报;2010年06期
2 伞冶;石慧姝;郭珂;;核方法及其在模拟电路故障诊断中的研究进展[J];电子测量技术;2013年01期
3 钱进;邓喀中;范洪冬;;基于拉普拉斯特征映射高光谱遥感影像降维及其分类[J];遥感信息;2012年05期
中国博士学位论文全文数据库 前2条
1 梁莹;INS/地磁匹配组合导航系统技术研究[D];哈尔滨工程大学;2010年
2 于晓明;支持向量机及其在制浆过程重要参数软测量中的应用研究[D];陕西科技大学;2012年
中国硕士学位论文全文数据库 前10条
1 刘柳;基于支持向量机和模糊后处理的遥感图像分类研究[D];华中科技大学;2010年
2 宋丽妍;基于双隶属度判定的模糊支持向量机方法研究[D];哈尔滨工业大学;2011年
3 柳永强;基于闭凸包收缩的非线性分类方法研究[D];华中师范大学;2009年
4 郑韬;虹膜外边界定位算法和粗分类算法的研究[D];电子科技大学;2009年
5 周林英;基于支持向量机的高速公路事件检测算法[D];长安大学;2009年
6 郭守团;基于支持向量机的组合核函数及模糊系统辩识研究[D];西南交通大学;2010年
7 徐蓓蓓;风电场风速和发电功率预测研究[D];长沙理工大学;2012年
8 李燕楠;风力发电系统中变流器故障的智能诊断算法研究[D];兰州理工大学;2012年
9 赵晨晖;基于混合核函数支持向量机的基金投资决策研究[D];华南理工大学;2012年
10 刘琰;支持向量机核函数的研究[D];西安电子科技大学;2012年
【参考文献】
中国期刊全文数据库 前6条
1 熊金志;胡金莲;袁华强;胡天明;李广明;;一类光滑支持向量机新函数的研究[J];电子学报;2007年02期
2 刘向东 ,骆斌 ,陈兆乾;支持向量机最优模型选择的研究[J];计算机研究与发展;2005年04期
3 许建华,张学工,李衍达;支持向量机的新发展[J];控制与决策;2004年05期
4 张学工;关于统计学习理论与支持向量机[J];自动化学报;2000年01期
5 杜树新,吴铁军;模式识别中的支持向量机方法[J];浙江大学学报(工学版);2003年05期
6 甘良志;孙宗海;孙优贤;;稀疏最小二乘支持向量机[J];浙江大学学报(工学版);2007年02期
【共引文献】
中国期刊全文数据库 前10条
1 冀卫兴;陈忠海;方筝;;基于DE—BP算法的空调负荷预测研究[J];四川建筑科学研究;2010年05期
2 王东霞;张楠;路晓丽;;基于育种算法的SVM参数优化[J];安徽大学学报(自然科学版);2009年04期
3 杨绪兵,韩自存;ε不敏感的核Adaline算法及其在图像去噪中的应用[J];安徽工程科技学院学报(自然科学版);2003年04期
4 陶秀凤,唐诗忠,周鸣争;基于支持向量机的软测量模型及应用[J];安徽工程科技学院学报(自然科学版);2004年02期
5 许高程;张文君;王卫红;;支持向量机技术在遥感影像滑坡体提取中的应用[J];安徽农业科学;2009年06期
6 程伟;张燕平;赵姝;;支持向量机在粮食产量预测中的应用[J];安徽农业科学;2009年08期
7 武素华;;基于最小二乘支持向量机的土壤含水量检测的研究与分析[J];安徽农业科学;2009年09期
8 陈念;沈佐民;;基于化学成分检测和SVM分类的茶叶品质鉴定[J];安徽农业科学;2010年15期
9 郭立萍;唐家奎;米素娟;张成雯;赵理君;;基于支持向量机遥感图像融合分类方法研究进展[J];安徽农业科学;2010年17期
10 管翠萍;;药物靶标G蛋白偶联受体的识别预测[J];安徽农业科学;2010年24期
中国重要会议论文全文数据库 前10条
1 ;An effective procedure exploiting unlabeled data to build monitoring system[A];中国科学院地质与地球物理研究所第11届(2011年度)学术年会论文集(下)[C];2012年
2 宋海鹰;桂卫华;阳春华;;基于核偏最小二乘的简约最小二乘支持向量机及其应用研究[A];第二十六届中国控制会议论文集[C];2007年
3 宋海鹰;桂卫华;阳春华;;基于最小二乘支持向量机的Hammerstein-Wiener模型辨识[A];第二十六届中国控制会议论文集[C];2007年
4 ;Inverse System Control of Nonlinear Systems Using LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
5 ;A Novel Kernel PCA Support Vector Machine Algorithm with Feature Transition Function[A];第二十六届中国控制会议论文集[C];2007年
6 ;A Novel Proximal Support Vector Machine and Its Application in Radar Target Recognition[A];第二十六届中国控制会议论文集[C];2007年
7 ;A CDMA Signal Receiver Based on LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
8 顾小军;杨世锡;钱苏翔;;基于支持向量机的旋转机械多类故障识别研究[A];第二十六届中国控制会议论文集[C];2007年
9 吕蓬;柳亦兵;马强;魏于凡;;支持向量机在齿轮智能故障诊断中的应用研究[A];第二十六届中国控制会议论文集[C];2007年
10 姜明辉;袁绪川;;基于GA优化的个人信用评估SVM模型[A];第二十六届中国控制会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 赵莹;半监督支持向量机学习算法研究[D];哈尔滨工程大学;2010年
2 母丽华;煤矿安全预警系统的方法研究[D];哈尔滨工程大学;2010年
3 任桢;图像分类任务的关键技术研究[D];哈尔滨工程大学;2010年
4 殷志伟;基于统计学习理论的分类方法研究[D];哈尔滨工程大学;2009年
5 朱广平;混响干扰中的信号检测技术研究[D];哈尔滨工程大学;2009年
6 孔凡芝;引线键合视觉检测关键技术研究[D];哈尔滨工程大学;2009年
7 杨宁;计算机辅助卷烟配方设计关键技术研究[D];中国海洋大学;2010年
8 郑大腾;柔性坐标测量机空间误差模型及最佳测量区研究[D];合肥工业大学;2010年
9 陈广洲;多源信息耦合的成矿预测新模型研究[D];合肥工业大学;2010年
10 李书艳;单点氨基酸多态性与疾病相关关系的预测及其机制研究[D];兰州大学;2010年
中国硕士学位论文全文数据库 前10条
1 曾传华;基于颜色和纹理特征的竹条分级方法研究[D];华中农业大学;2010年
2 展慧;基于多源信息融合技术的板栗分级检测方法研究[D];华中农业大学;2010年
3 杜二玲;拟概率空间上等均值噪声下统计学习理论的理论基础[D];河北大学;2007年
4 朱杰;一种基于聚类的支持向量机反问题求解算法[D];河北大学;2007年
5 李金华;基于SVM的多类文本分类研究[D];山东科技大学;2010年
6 田文娟;基于支持向量机的人民币序列号识别方法的研究[D];山东科技大学;2010年
7 孟培培;基于3S的土地督察信息系统研究[D];山东科技大学;2010年
8 朱耿峰;支持向量机在冲击地压预测模型中的应用研究[D];山东科技大学;2010年
9 刘维会;不平衡数据集上支持向量机算法研究[D];山东科技大学;2010年
10 安文娟;Fisher和支持向量综合分类器[D];辽宁师范大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 李亚;潘海峰;;基于AHP和TOPSIS方法的基金绩效评价研究[J];安徽工程科技学院学报(自然科学版);2008年03期
2 李豫泽;石志勇;杨云涛;;地磁辅助惯性导航匹配算法研究[J];兵工自动化;2008年06期
3 刘华富;支持向量机Mercer核的若干性质[J];北京联合大学学报(自然科学版);2005年01期
4 王慧勤;;基于支持向量机的短期风速预测研究[J];宝鸡文理学院学报(自然科学版);2009年01期
5 邵年华;沈冰;秦胜英;戴玉萍;;核主成分支持向量机模型在蒸发预测中的应用[J];北京师范大学学报(自然科学版);2010年03期
6 谭玲玲;;低碳经济下烟台风电产业的发展取向[J];山东工商学院学报;2011年04期
7 张玲,郑恩让;黑液浓度的一种在线检测方法[J];中华纸业;2000年04期
8 张志秀,刘星萍,张新荣;黑液波美度的在线软测量[J];中华纸业;2003年08期
9 杨春节,孙优贤,鲍伯良;纸浆洗涤过程控制的现状和趋势[J];中华纸业;1998年03期
10 唐静;胡云安;肖支才;;基于KPCA和类峰值特征的模拟电路诊断方法[J];电讯技术;2011年12期
中国博士学位论文全文数据库 前10条
1 王婷;EMD算法研究及其在信号去噪中的应用[D];哈尔滨工程大学;2010年
2 范昕炜;支持向量机算法的研究及其应用[D];浙江大学;2003年
3 吴涛;核函数的性质、方法及其在障碍检测中的应用[D];中国人民解放军国防科学技术大学;2003年
4 丁兴号;基于小波分析的视觉检测技术研究[D];合肥工业大学;2003年
5 周伟达;核机器学习方法研究[D];西安电子科技大学;2003年
6 孙宗海;支持向量机及其在控制中的应用研究[D];浙江大学;2003年
7 俞亭超;城市供水系统优化调度研究[D];浙江大学;2004年
8 刘瑞兰;软测量技术若干问题的研究及工业应用[D];浙江大学;2004年
9 张春华;支持向量机中最优化问题的研究[D];中国农业大学;2004年
10 孙德山;支持向量机分类与回归方法研究[D];中南大学;2004年
中国硕士学位论文全文数据库 前10条
1 方江晓;短期风速和风电功率预测模型的研究[D];北京交通大学;2011年
2 翟利雄;开放式基金投资决策平台研究与设计[D];电子科技大学;2011年
3 吕琪;基于动态神经网络的交通事件检测算法[D];浙江大学;2003年
4 彭云峰;污水处理出水水质软测量预测预报系统开发[D];昆明理工大学;2003年
5 孙计;造纸碱回收过程先进控制研究[D];浙江大学;2004年
6 康海荣;我国证券投资基金的风格分析和绩效评价研究[D];首都经济贸易大学;2004年
7 徐宇翔;我国基金业绩评价方法研究[D];中南大学;2004年
8 韩国华;高速公路交通事件管理系统关键技术研究[D];吉林大学;2005年
9 李艳广;基于神经网络的投资基金绩效评估[D];吉林大学;2005年
10 赵红艳;证券投资基金业绩评估体系及实证研究[D];武汉大学;2005年
【二级引证文献】
中国期刊全文数据库 前3条
1 赵永安;王国权;;基于核主元分析法的组合核函数改进算法[J];信息技术;2012年08期
2 邓翠婷;黄朝艳;赵华;田海冬;;地磁匹配导航算法综述[J];科学技术与工程;2012年24期
3 尹向雷;马晓虹;;溶解性溶液浓度的控制方法设计及PLC实现[J];食品与机械;2013年01期
中国硕士学位论文全文数据库 前6条
1 余鹏;虹膜预处理方法研究[D];电子科技大学;2011年
2 瞿娜娜;基于组合核函数支持向量机研究及应用[D];华南理工大学;2011年
3 龚炯;基于SVM的高速公路交通事件检测研究[D];西南交通大学;2010年
4 任建丽;虹膜定位及质量评估的算法研究与实现[D];电子科技大学;2010年
5 李龙;基于半径间隔界的支持向量机方法研究[D];华南理工大学;2012年
6 刘琰;支持向量机核函数的研究[D];西安电子科技大学;2012年
【二级参考文献】
中国期刊全文数据库 前4条
1 田盛丰,黄厚宽;基于支持向量机的数据库学习算法[J];计算机研究与发展;2000年01期
2 刘学军,陈松灿,彭宏京;基于支持向量机的计算机键盘用户身份验真[J];计算机研究与发展;2002年09期
3 袁玉波,严杰,徐成贤;多项式光滑的支撑向量机[J];计算机学报;2005年01期
4 卢增祥,李衍达;交互支持向量机学习算法及其应用[J];清华大学学报(自然科学版);1999年07期
【相似文献】
中国期刊全文数据库 前10条
1 朱树先;张仁杰;郑刚;;混合核函数对支持向量机分类性能的改进[J];上海理工大学学报;2009年02期
2 王华忠;俞金寿;;核函数方法及其模型选择[J];江南大学学报(自然科学版);2006年04期
3 刘东辉;卞建鹏;付平;刘智青;;支持向量机最优参数选择的研究[J];河北科技大学学报;2009年01期
4 戴宏亮;;智能拉普拉斯分类器[J];中山大学学报(自然科学版);2009年02期
5 周亚同,张太镒,刘海员;基于核的机器学习方法及其在多用户检测中的应用[J];通信学报;2005年07期
6 朱树先;张仁杰;;支持向量机核函数选择的研究[J];科学技术与工程;2008年16期
7 陆辉;万燕;姚砺;;核主成分分析在异型纤维识别中的应用[J];计算机与信息技术;2009年03期
8 王涛;李艾华;蔡艳平;王声才;;基于核的学习机研究综述[J];计算机应用研究;2010年06期
9 朱树先;张仁杰;;支持向量机核函数选择对面部特征识别的作用[J];光学技术;2008年06期
10 汪廷华;陈峻婷;;核函数的度量研究进展[J];计算机应用研究;2011年01期
中国重要会议论文全文数据库 前10条
1 张军;;支持向量机方法在地下水位干扰排除中的初步应用[A];2007年地震流体学术研讨会论文摘要集[C];2007年
2 刘怡光;游健;张建伟;;基于支持向量的多类分类器设计[A];第十三届全国图象图形学学术会议论文集[C];2006年
3 尹钟;张建华;;基于支持向量机方法的过程操作员功能状态分类[A];中国自动化学会控制理论专业委员会A卷[C];2011年
4 顾锦荣;刘华强;孙预前;;遗传算法优化的支持向量机模型在热带气旋强度预报中的应用[A];第七届长三角气象科技论坛论文集[C];2010年
5 应自炉;张有为;李景文;;基于GDA和SVM的人脸表情识别[A];第十三届全国信号处理学术年会(CCSP-2007)论文集[C];2007年
6 崔桂梅;鄢常亮;马祥;;基于核主元分析和支持向量机的高炉向凉、向热故障诊断[A];中国计量协会冶金分会2010年会论文集[C];2010年
7 林杰华;张斌;李冬森;宋华茂;余志强;王浩;;支持向量机在电力客户信用评级中的应用[A];全国第21届计算机技术与应用学术会议(CACIS·2010)暨全国第2届安全关键技术与应用学术会议论文集[C];2010年
8 蒋铁军;张怀强;李积源;;多变量系统预测的支持向量机方法研究[A];管理科学与系统科学研究新进展——第7届全国青年管理科学与系统科学学术会议论文集[C];2003年
9 程砚秋;杨德权;;基于决策树和支持向量机的金融预测方法[A];中国企业运筹学学术交流大会论文集[C];2007年
10 黄淑云;孙兴玉;梁汝萍;邱建丁;;基于小波支持向量机预测蛋白质亚细胞定位研究[A];第十一届全国计算(机)化学学术会议论文摘要集[C];2011年
中国重要报纸全文数据库 前10条
1 首创期货研发中心金融工程组 徐泽平;方差-协方差法的VaR计量模型选择[N];期货日报;2007年
2 首创期货研发中心高级研究员 易骥;套期保值实证分析及模型选择[N];期货日报;2006年
3 清华大学 李迎春;多姿态人脸图像的估计及合成[N];计算机世界;2006年
4 齐玄江;花别人的钱也要心疼[N];中国财经报;2004年
5 厉将斌;李海松;中医药进入器官移植领域[N];中国医药报;2002年
6 课题主持人 李心丹 课题协调人 上海证券交易所 施东晖 傅浩 课题研究员 宋素荣 查晓磊 宾红辉 张许宏 郭静静 黄隽 南京大学工程管理学院;内幕交易与市场操纵的行为动机与判别监管研究[N];中国证券报;2007年
7 李水根;计算机详解配伍与药效关系[N];健康报;2005年
8 清华大学 苏光大;非接触式人脸识别技术[N];计算机世界;2006年
9 山东省莱州市教研室教科所 彭慧;以“过程增值”评价教师教学成绩[N];中国教育报;2007年
10 陈辉;节能减排 常抓不懈[N];中国水利报;2007年
中国博士学位论文全文数据库 前10条
1 常群;支持向量机的核方法及其模型选择[D];哈尔滨工业大学;2007年
2 蒋玲莉;基于核方法的旋转机械故障诊断技术与模式分析方法研究[D];中南大学;2010年
3 田江;基于支持向量机的孤立点检测方法研究[D];大连理工大学;2009年
4 田英杰;支持向量回归机及其应用研究[D];中国农业大学;2005年
5 汪廷华;支持向量机模型选择研究[D];北京交通大学;2010年
6 马儒宁;神经网络与支持向量机相关问题研究[D];复旦大学;2005年
7 邢永忠;最小二乘支持向量机的若干问题与应用研究[D];南京理工大学;2009年
8 秦玉平;基于支持向量机的文本分类算法研究[D];大连理工大学;2008年
9 陈祖云;煤与瓦斯突出前兆的非线性预测及支持向量机识别研究[D];中国矿业大学;2009年
10 武国正;支持向量机在湖泊富营养化评价及水质预测中的应用研究[D];内蒙古农业大学;2008年
中国硕士学位论文全文数据库 前10条
1 李新;支持向量机的核方法及其多核聚类算法的研究[D];中国海洋大学;2010年
2 杨振章;基于支持向量数据描述的分类识别算法研究[D];杭州电子科技大学;2009年
3 刘艳伟;支持向量机方法在感潮河段洪峰水位预报中的应用[D];浙江大学;2010年
4 杨镭;支持向量机算法设计及在高分辨雷达目标识别中的应用[D];国防科学技术大学;2010年
5 鄢常亮;基于支持向量机的高炉向凉向热炉况预测研究[D];内蒙古科技大学;2010年
6 刘维会;不平衡数据集上支持向量机算法研究[D];山东科技大学;2010年
7 童振;基于支持向量机的电解液成分预测[D];东北大学;2008年
8 刘坐乾;基于改进的支持向量机的模拟电路故障诊断方法研究[D];东北大学;2009年
9 聂小芳;模糊粗糙集与支持向量机在煤与瓦斯突出预测中的应用研究[D];辽宁工程技术大学;2009年
10 韩叙东;基于支持向量机的水电故障分类器的设计与实现[D];东北大学;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026