收藏本站
《浙江大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

核学习算法与集成方法研究

甘良志  
【摘要】:机器学习根据自然现象或专门实验获得的数据推断事物的规律。统计学习理论假设观测的样本数据服从一定的未知分布,在不估计分布规律的前提下综合研究基于训练样本和基于分布的目标函数。核函数方法通过非线性映射在高维特征空间用线性方法解决非线性问题,同时避免了显式地描述这种非线性映射过程。可能近似正确学习沿袭统计学习理论对结构风险控制的思路,为Boosting等集成学习方法找到了理论依据。核函数方法迅速被主分量分析等其它学习机器借鉴。 总结统计学习理论以及支持向量机的特点不难发现,对结构风险的有效控制和核函数方法的使用是支持向量机取得成功的决定性因素。本文以统计学习理论和集成学习为指导,研究了基于核函数方法的学习机器如支持向量机、核主分量分析、核主角等机器学习方法的改进算法以及集成方法。 论文主要工作概括如下: 1.介绍了机器学习的概念,回顾了统计学习理论和支持向量机取得的成就。可能近似正确学习框架被看成是统计学习理论的继续发展,能够为Boosting等学习机器找到理论依据,因此将其作为独立的研究集成学习的理论予以了介绍。为了方便论文的展开,第一章还介绍了核函数的基础知识以及主分量分析、典型相关分析、核主角等机器学习方法,给出了论文的结构图。 2.针对支持向量机的几何训练算法,提出了无关最优向量和可能支持向量的概念和判别算法。改进的几何训练算法首先将训练样本分为两类:无关最优向量类和可能支持向量类。在线性可分情形下,无关最优向量不影响支持向量机的训练结果,因此可以从训练样本中剔除,这样就简化了支持向量机的求解;在线性不可分情形下,利用软凸包概念将不可分数据集转换为可分数据集然后求解,同样能够大幅减少训练数据从而简化支持向量机的训练过程。 3.针对给定的大规模数据集的回归和分类问题,提出了一种稀疏最小二乘支持向量机。该方法先把样本集映射到无限维再生核希尔伯特空间中,然后张成再生空间的一个线性子空间。在无限维特征空间中可以求出子空间的一组近似基。用近似基线性表示子空间中的元素,能缩小核矩阵的维数,进而通过求解规模相对较小的线性方程组获得稀疏最小二乘支持向量机。 4.继续针对给定的大规模数据集的分类和回归问题,提出了集成稀疏最小二乘支持向量机的两种方法。这两种方法都在无限维再生核希尔伯特空间中求样本集的若干组近似基,然后以每组近似基为解空间求解最小二乘支持向量机,最后进行集成。其中一种是并行算法,一种是串行算法。集成稀疏最小二乘支持向量机具有鲁棒性。 5.提出了一种集成稀疏核主分量分析的方法。集成稀疏核主分量分析通过再生核希尔伯特空间中的线性分析,获取若干组近似基,以每一组近似基为解空间,分别提取样本在再生核希尔伯特空间的特征向量和特征值,最后进行平均集成。将其用于Tennessee-Eastman过程的故障检测时,实验结果显示其性能优于普通的核主分量分析法。 6.提出了一种稀疏核主角(SKPA)的集成方法。与核主分量分析结合后,集成稀疏核主角可以用于Tennessee-Eastman过程的故障类型识别。很少有学习机器能够实现这一功能。 最后对全文进行了总结和展望。
【学位授予单位】:浙江大学
【学位级别】:博士
【学位授予年份】:2010
【分类号】:TP18

免费申请
【引证文献】
中国期刊全文数据库 前1条
1 甘良志;张士诚;李旭超;;集成主角及其在故障检测中的应用[J];控制理论与应用;2013年10期
【参考文献】
中国期刊全文数据库 前10条
1 范玉刚;李平;宋执环;;基于核主角的故障检测方法[J];化工学报;2006年11期
2 孙平,徐宗本,申建中;基于核化原理的非线性典型相关判别分析[J];计算机学报;2004年06期
3 张浩然;汪晓东;;回归最小二乘支持向量机的增量和在线式学习算法[J];计算机学报;2006年03期
4 朱家元,杨云,张恒喜,任博;支持向量机的多层动态自适应参数优化[J];控制与决策;2004年02期
5 范玉刚;李平;宋执环;;基于特征样本的KPCA在故障诊断中的应用[J];控制与决策;2005年12期
6 王定成;姜斌;;在线稀疏最小二乘支持向量机回归的研究[J];控制与决策;2007年02期
7 赵永平;孙健国;;一种快速稀疏最小二乘支持向量回归机[J];控制与决策;2008年12期
8 郭振凯;宋召青;毛剑琴;;一种改进的在线最小二乘支持向量机回归算法[J];控制与决策;2009年01期
9 张学工;关于统计学习理论与支持向量机[J];自动化学报;2000年01期
10 蒋焰;丁晓青;;基于多步校正的改进AdaBoost算法[J];清华大学学报(自然科学版)网络.预览;2008年10期
【共引文献】
中国期刊全文数据库 前10条
1 王全凤;郑浩;;基于径向基函数神经网络的高层建筑结构选型[J];四川建筑科学研究;2010年05期
2 蔡坤琪;;基于相关鉴别分析和随机森林的人脸识别方法[J];安徽电子信息职业技术学院学报;2012年01期
3 张根耀,李竹林,赵宗涛;遮挡情况下运动目标的跟踪[J];安徽大学学报(自然科学版);2003年03期
4 王东霞;张楠;路晓丽;;基于育种算法的SVM参数优化[J];安徽大学学报(自然科学版);2009年04期
5 杨绪兵,韩自存;ε不敏感的核Adaline算法及其在图像去噪中的应用[J];安徽工程科技学院学报(自然科学版);2003年04期
6 陶秀凤,唐诗忠,周鸣争;基于支持向量机的软测量模型及应用[J];安徽工程科技学院学报(自然科学版);2004年02期
7 陈弋兰;王鸣;孙书诚;;朴素贝叶斯分类器的误差估计[J];安徽工程科技学院学报(自然科学版);2008年04期
8 潘希姣;;多子群粒子群集成神经网络[J];安徽建筑工业学院学报(自然科学版);2007年02期
9 李亭;杨敬锋;彭晓琴;陈志民;;基于最大似然法集成的黄曲条跳甲预警模型[J];安徽农业科学;2008年25期
10 时雷;虎晓红;席磊;段其国;;集成学习技术在农业中的应用[J];安徽农业科学;2008年26期
中国重要会议论文全文数据库 前10条
1 叶红云;倪志伟;陈恩红;;一种混合型集成学习演化决策树算法[A];2005年“数字安徽”博士科技论坛论文集[C];2005年
2 ;An effective procedure exploiting unlabeled data to build monitoring system[A];中国科学院地质与地球物理研究所第11届(2011年度)学术年会论文集(下)[C];2012年
3 宋海鹰;桂卫华;阳春华;;基于核偏最小二乘的简约最小二乘支持向量机及其应用研究[A];第二十六届中国控制会议论文集[C];2007年
4 宋海鹰;桂卫华;阳春华;;基于最小二乘支持向量机的Hammerstein-Wiener模型辨识[A];第二十六届中国控制会议论文集[C];2007年
5 ;Inverse System Control of Nonlinear Systems Using LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
6 ;A Novel Kernel PCA Support Vector Machine Algorithm with Feature Transition Function[A];第二十六届中国控制会议论文集[C];2007年
7 ;A Novel Proximal Support Vector Machine and Its Application in Radar Target Recognition[A];第二十六届中国控制会议论文集[C];2007年
8 ;A CDMA Signal Receiver Based on LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
9 刘志斌;金连文;;候选字静态生成技术及其在两级LDA汉字识别中的应用[A];第二十六届中国控制会议论文集[C];2007年
10 张彬;金连文;;基于AdaBoost的手写体汉字相似字符识别[A];第二十六届中国控制会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 赵莹;半监督支持向量机学习算法研究[D];哈尔滨工程大学;2010年
2 于化龙;基于DNA微阵列数据的癌症分类技术研究[D];哈尔滨工程大学;2010年
3 母丽华;煤矿安全预警系统的方法研究[D];哈尔滨工程大学;2010年
4 李建平;面向异构数据源的网络安全态势感知模型与方法研究[D];哈尔滨工程大学;2010年
5 梁洪;基于内容的医学图像检索及语义建模关键技术研究[D];哈尔滨工程大学;2010年
6 任桢;图像分类任务的关键技术研究[D];哈尔滨工程大学;2010年
7 徐森;文本聚类集成关键技术研究[D];哈尔滨工程大学;2010年
8 殷志伟;基于统计学习理论的分类方法研究[D];哈尔滨工程大学;2009年
9 朱广平;混响干扰中的信号检测技术研究[D];哈尔滨工程大学;2009年
10 孔凡芝;引线键合视觉检测关键技术研究[D];哈尔滨工程大学;2009年
中国硕士学位论文全文数据库 前10条
1 曾传华;基于颜色和纹理特征的竹条分级方法研究[D];华中农业大学;2010年
2 展慧;基于多源信息融合技术的板栗分级检测方法研究[D];华中农业大学;2010年
3 杜二玲;拟概率空间上等均值噪声下统计学习理论的理论基础[D];河北大学;2007年
4 朱杰;一种基于聚类的支持向量机反问题求解算法[D];河北大学;2007年
5 廖甜甜;白细胞图像语义识别分类的研究[D];南昌航空大学;2010年
6 黄正荣;基于振动波的高速公路车辆行驶状态辨识理论研究[D];南昌航空大学;2010年
7 刘棉;人机划拳系统的实现[D];山东科技大学;2010年
8 刘桂珍;颅骨三维重建与信息提取[D];山东科技大学;2010年
9 李金华;基于SVM的多类文本分类研究[D];山东科技大学;2010年
10 马冉冉;集成学习算法研究[D];山东科技大学;2010年
【同被引文献】
中国期刊全文数据库 前1条
1 薄翠梅;柏杨进;杨海荣;张广明;;多切面分类改进独立成份与支持向量机集成故障诊断方法[J];控制理论与应用;2012年02期
【二级参考文献】
中国期刊全文数据库 前10条
1 李凯,黄厚宽;一种提高神经网络集成差异性的学习方法[J];电子学报;2005年08期
2 郭明,王树青;基于特征子空间的系统性能监控与工况识别[J];化工学报;2004年01期
3 刘学军,陈松灿,彭宏京;基于支持向量机的计算机键盘用户身份验真[J];计算机研究与发展;2002年09期
4 刘向东;朱美琳;陈兆乾;陈世福;;支持向量机及其在模式识别中的应用[J];计算机科学;2003年06期
5 周志华,陈世福;神经网络集成[J];计算机学报;2002年01期
6 张浩然;汪晓东;;回归最小二乘支持向量机的增量和在线式学习算法[J];计算机学报;2006年03期
7 李巍华,廖广兰,史铁林;核函数主元分析及其在齿轮故障诊断中的应用[J];机械工程学报;2003年08期
8 胡志坤,桂卫华,彭小奇,姚俊峰,张卫华;铜转炉生产操作模式智能优化[J];控制理论与应用;2005年02期
9 陈爱军;宋执环;李平;;基于矢量基学习的最小二乘支持向量机建模[J];控制理论与应用;2007年01期
10 范玉刚;李平;宋执环;;动态加权最小二乘支持向量机[J];控制与决策;2006年10期
中国博士学位论文全文数据库 前1条
1 吴春国;广义染色体遗传算法与迭代式最小二乘支持向量机回归算法研究[D];吉林大学;2006年
【相似文献】
中国期刊全文数据库 前10条
1 王定成;方廷健;唐毅;马永军;;支持向量机回归理论与控制的综述[J];模式识别与人工智能;2003年02期
2 杨强,吴中福,余平,钟将;基于正反馈的支持向量机[J];重庆大学学报(自然科学版);2004年05期
3 孙蕾,周明全,李丙春;一种非平衡分布数据的支持向量机新算法[J];计算机应用;2004年12期
4 黄勇;郑春颖;宋忠虎;;多类支持向量机算法综述[J];计算技术与自动化;2005年04期
5 杨强,吴中福,余萍,钟将;一种新型支持向量机[J];重庆大学学报(自然科学版);2005年02期
6 张猛,付丽华,王高峰;模糊临近支持向量机[J];计算机工程与应用;2005年05期
7 张浩然;汪晓东;张长江;徐秀玲;;一种新型回归支持向量机的学习算法[J];测试技术学报;2006年02期
8 王晔;黄上腾;;基于间隔区域样本数量的加权支持向量机[J];计算机工程;2006年06期
9 梁新荣;刘智勇;孙德山;毛宗源;;支持向量机在混沌系统预测中的应用[J];计算机应用研究;2006年05期
10 卢敏;张展羽;冯宝平;贾仁辅;;基于支持向量机的区域水安全预警模型及应用[J];计算机工程;2006年15期
中国重要会议论文全文数据库 前10条
1 侯澍旻;李友荣;刘光临;;基于支持向量机的设备振动信号趋势预测[A];12省区市机械工程学会2006年学术年会湖北省论文集[C];2006年
2 张晓滨;尹英顺;赵培坤;马秀兰;;基于渐进直推支持向量机的半对半多类文本分类[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
3 徐会敏;王玉兰;;线性规划支持向量机模型的研究[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
4 晏庆华;;支持向量机算法综述[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
5 郭一楠;程健;肖大伟;杨梅;;分布式多分类支持向量机[A];2011年中国智能自动化学术会议论文集(第一分册)[C];2011年
6 林关成;李亚安;;一种支持向量机训练集选取算法改进[A];2009’中国西部地区声学学术交流会论文集[C];2009年
7 杨凌;刘玉树;;基于支持向量机的坦克识别算法[A];第三届全国数字成像技术及相关材料发展与应用学术研讨会论文摘要集[C];2004年
8 李方方;赵英凯;贾玉莹;杜杰;;基于最小二乘支持向量机的油品质量预测[A];第25届中国控制会议论文集(上册)[C];2006年
9 曾江辉;耿金凤;汪邦军;郝建春;;面向时间序列质量波动预测的支持向量机回归模型研究[A];使命与责任—以质量方法促转型升级——第五届中国质量学术与创新论坛论文集(上)[C];2012年
10 戴林超;吴琳丽;赵海娜;李训铭;;基于最小二乘支持向量机的故障预测法[A];2009年中国智能自动化会议论文集(第六分册)[中南大学学报(增刊)][C];2009年
中国博士学位论文全文数据库 前10条
1 周喜川;非可信环境下的支持向量机研究[D];浙江大学;2010年
2 常甜甜;支持向量机学习算法若干问题的研究[D];西安电子科技大学;2010年
3 王超;三类不确定支持向量机及其应用[D];河北大学;2013年
4 杜喆;几类支持向量机变型算法的研究[D];西安电子科技大学;2009年
5 张国云;支持向量机算法及其应用研究[D];湖南大学;2006年
6 李海生;支持向量机回归算法与应用研究[D];华南理工大学;2005年
7 李华庆;支持向量机及其在人脸识别中的应用研究[D];上海交通大学;2006年
8 刘京礼;鲁棒最小二乘支持向量机研究与应用[D];中国科学技术大学;2010年
9 刘叶青;原始空间中支持向量机若干问题的研究[D];西安电子科技大学;2009年
10 范昕炜;支持向量机算法的研究及其应用[D];浙江大学;2003年
中国硕士学位论文全文数据库 前10条
1 周林成;小波支持向量机在数据建模中的研究及应用[D];江南大学;2008年
2 王芳;支持向量机算法的研究及应用[D];江南大学;2008年
3 高泓;基于支持向量机的动态预测方法与实现技术研究[D];大庆石油学院;2009年
4 王永吉;支持向量机泛化性能的研究及其应用[D];江南大学;2009年
5 梁宏霞;支持向量机模型研究及应用[D];辽宁师范大学;2009年
6 孙庆嘉;多类支持向量机的研究与分析[D];北京交通大学;2010年
7 朱杰;基于最小二乘支持向量机的传染病预测与研究[D];苏州大学;2009年
8 王琳;支持向量机及相关理论研究[D];辽宁师范大学;2010年
9 万家强;支持向量机在质量管理中的应用研究[D];重庆理工大学;2010年
10 李响;基于半监督支持向量机的网络流量分类机制的研究与实现[D];北京邮电大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026