收藏本站
《西安电子科技大学》 2002年
收藏 | 手机打开
二维码
手机客户端打开本文

支撑矢量机与核方法研究

张莉  
【摘要】: 统计学习理论研究基于样本的机器学习问题,由于最初的发展主要停留在对学习模型和学习算法的理论分析上,并没有得到一些实际有效的结果。但是到九十年代早期,在Vapnik等人的不断努力下,统计学习理论得到了进一步完善和发展,已基本形成一套比较完整的理论体系,并且由该理论直接导出了一种非常有效的全新的学习算法:支撑矢量机。支撑矢量机是一种普适的算法,已经广泛地用于模式识别、回归估计、函数逼近、密度估计等方面。本论文研究的主要内容包括四个方面:支撑矢量机算法的改进、核函数的构造、核方法的应用以及基于统计学习理论构造新的学习机。主要的工作有: 1.在算法改进方面,提出了支撑矢量预选取的中心距离比值法。已有的支撑矢量机分类学习算法的优化过程中不仅包含了对支撑矢量的优化,也包括了对非支撑矢量的优化,这大大增加了不必要的计算量。而在通常情况下支撑矢量在训练样本集中只占很小的比重。我们严格证明了支撑矢量机的学习过程、学习结果以及决策函数与非支撑矢量无关。我们提出的方法是在给定的样本集中提取一个包含支撑矢量的边界矢量集合作为新的训练样本集合。如果中心距离比值的阈值选择合适,我们的算法能够在给定样本中提取出一个包含了所有支撑矢量的边界矢量集合作为新的训练样本集。在保证支撑矢量机的分类能力情况下,该方法大大地减少了训练样本的个数,同时提高了支撑矢量机的训练速度。对于多分类问题,我们提出了一种基于决策树的支撑矢量机算法。该算法把一个多类问题分解成多个两类问题,整体采用二叉决策树结构,使得训练样本或类别数逐级减少。在每一个非终止节点上首先采用核聚类算法生成一个两类问题,由支撑矢量机完成两类识别。这样逐级往下实现基于二叉决策树的支撑矢量机多分类算法。该支撑矢量机多分类算法和其它的基于二分问题的多类算法比较起来,在训练次数、每次训练的样本数和支撑矢量的个数上都相对要少,因此该方法在训练速度和检验速度上有一定的优势。 2.在核函数的构造方面,我们提出了几种可容许的支撑矢量核,包括三种坐标变换核、子波核和尺度核函数。坐标变换核函数是一种能够提供变换角度观测和处理的工具,特别是对于某些具有一定先验信息的学习问题,该方法是非常有效的。子波基函数包括子波函数和尺度函数,都具有良好的时间尺度(时频)多分辨特性和逼近性能。为此我们构造并证明了子波核函数和尺度核函数,为其在支撑矢量机中的应用架设了桥梁。理论和实验证明基于子波核函数和基于尺度核函数的支撑矢量机不仅继承了支 n大娜翻月州卜匀翻匕少.闷傲犯 ................ 撑矢量机良好的推广能力而且也拥有了子波基函数优越的通近性能。这些核函数为支 撑矢量机或其他的采用核方法的算法提供了更多的选择. 3.在核方法的应用方面,我们把核方法引人到聚类分析和神经网络中,提出了一 种核聚类算法和用子波核构造的一种神经网络一一子波核函数网络.通过核方法,把 模式从输人空间映射到高维的特征空间,在此空间中对样本进行线性的逼近、识别或 聚类。子波核函数网络最大的优点是网络的规模不会随着输人模式维数的增长而呈指 数增长。网络隐层的单元数只与训练样本的个数有关,而与输人模式的维数无关。子 波核函数网络的训练算法采用的核感知器算法,避免了求解有约束的二次凸规划问题, 并且该网络不存在局部极小点。另一方面我们提出了一种核聚类方法,在性能上比经 典的聚类算法有较大的改进,它通过非线性映射能够较好地分辨、提取并放大有用的 特征,从而实现更为准确的聚类,算法收敛速度也较快。在经典聚类算法失效的情况 下,核聚类算法也能够得到理想的聚类。 4.基于统计学习理论中函数集容量的概念,我们提出了一种基于微分容量控制的 学习机。在支撑矢量机中,对函数集容量的控制是通过函数集的VC维数进行的,而 函数集的VC维数是一个不依赖于样本分布的量,由它导出的推广能力界应该说也是 一个宽松的界。我们发现函数的微分范数可以控制函数集的多样性,它依赖于样本的 分布。我们类似于确p献引人结构风险实现经验风险最小化和对函数集多样性的控制, 构造了基于微分容量控制的学习机,其推广能力的界依赖于样本的分布。在另一方面 基于微分容量的学习机与正则理论也是一致的,微分容量控制项相当于一个高通滤波 器,满足正则泛函中的光滑项的要求。基于微分容量控制学习机可以采用任意一阶可 微函数构成假设函数集(包括M~核函数),若假设函数集取线性函数集,此时的学 习机就是线性支撑矢量机。
【学位授予单位】:西安电子科技大学
【学位级别】:博士
【学位授予年份】:2002
【分类号】:TP391.4

免费申请
【相似文献】
中国期刊全文数据库 前10条
1 周伟达,张莉,焦李成;线性规划支撑矢量机[J];电子学报;2001年11期
2 伍忠东,谢维信,高新波;基于模糊熵的支撑矢量预选取方法[J];复旦学报(自然科学版);2004年05期
3 汪西莉,刘芳,焦李成;基于大规模数据的支撑矢量机的训练和分类[J];西安电子科技大学学报;2002年01期
4 陈伟;胡昌华;方华元;;回归型支撑矢量机的罚函数法及其改进算法研究[J];电光与控制;2005年06期
5 李映,白本督,焦李成;支撑矢量机的分类机理[J];系统工程与电子技术;2001年09期
6 任新成;一类矢量最小值的普遍解法[J];延安大学学报(自然科学版);2002年01期
7 任亚莉;多边形的面积矢量及应用[J];陕西教育学院学报;2001年02期
8 李斌;文件表示法和检索的矢量基础[J];管理科学文摘;1997年05期
9 马松华;谈矢量的旋度和保守场[J];丽水学院学报;2005年05期
10 任亚莉;多边形的面积矢量及应用[J];咸阳师范专科学校学报;2001年03期
中国重要会议论文全文数据库 前10条
1 盛卫星;方大纲;庄菁;;矢量反射系数测量中提高测幅精度的研究[A];1999年全国微波毫米波会议论文集(下册)[C];1999年
2 王启明;王旭旸;杨溪林;罗公亮;;支撑矢量机初步研究[A];2001年中国智能自动化会议论文集(上册)[C];2001年
3 许德合;朱长青;王奇胜;;矢量地理空间数据数字水印技术综述[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(上册)[C];2008年
4 刘锴;章毓晋;;彩色图像处理中矢量排序方法的比较[A];第十五届全国图象图形学学术会议论文集[C];2010年
5 史成元;;矢量三角形在力学解题中的应用[A];新世界中国教育发展论坛 第二卷[C];2007年
6 李旭峰;陈海;;平视显示系统矢量产生模块的研制[A];中国系统仿真学会第五次全国会员代表大会暨2006年全国学术年会论文集[C];2006年
7 孙威;阎石;郭鹏飞;;基于固定重构核函数的无网格法及其在弹性力学中的应用研究[A];第16届全国结构工程学术会议论文集(第Ⅰ册)[C];2007年
8 李伟;刘雷;郭肖晓;;一种改进的超紧组合系统矢量跟踪算法[A];2018惯性技术发展动态发展方向研讨会文集[C];2018年
9 张华;郑涛;肖仕武;刘万顺;黄少锋;杨青;;基于形态学分析综合矢量的振荡中故障再识别新方案[A];2006中国电力系统保护与控制学术研讨会论文集[C];2006年
10 刘克彬;李芳;刘磊;韩颖;;基于特征选择和语义扩展的词序列核函数研究[A];第三届学生计算语言学研讨会论文集[C];2006年
中国重要报纸全文数据库 前10条
1 刘玥圻;矢量变频的秘密[N];中国经济导报;2006年
2 罗颖新;解密矢量变频保鲜档案[N];中华工商时报;2006年
3 思佳;中国变频冰箱进入矢量时代[N];中国高新技术产业导报;2005年
4 宫科;解密矢量变频保鲜档案[N];中国高新技术产业导报;2006年
5 顾永强;油井矢量叠加节电技术应用前景良好[N];中国石油报;2007年
6 记者 杨保利;通过手指移动模式识别“熊孩子”[N];北京科技报;2018年
7 记者 白云;王金桥:教会机器人“看脸”[N];河北日报;2017年
8 本报记者 佘惠敏;模式识别,行走在电脑与人脑之间[N];经济日报;2014年
9 本报记者 ;矢量变频引领冰箱保鲜潮流[N];青岛日报;2006年
10 何闻;矢量变频技术破解空调高耗能[N];经济参考报;2006年
中国博士学位论文全文数据库 前10条
1 张莉;支撑矢量机与核方法研究[D];西安电子科技大学;2002年
2 朱珍珍;卫星导航矢量跟踪关键技术研究[D];国防科学技术大学;2011年
3 徐立祥;模式识别核方法的理论研究及其应用[D];安徽大学;2017年
4 周伟达;核机器学习方法研究[D];西安电子科技大学;2003年
5 武海巍;核函数与仿生智能算法在林下参光环境评价系统中的研究[D];吉林大学;2012年
6 丁世飞;基于信息理论的数字模式识别及应用研究[D];山东科技大学;2004年
7 王緌;企业核心能力的湍流挖掘模型及挖掘实验[D];四川大学;2005年
8 金涛;非对称神经网在模式识别中的应用[D];兰州大学;2006年
9 万海平;模式识别中核方法若干问题研究[D];北京邮电大学;2006年
10 朱永宣;基于模式识别的入侵检测关键技术研究[D];北京邮电大学;2006年
中国硕士学位论文全文数据库 前10条
1 高滨;基于支撑矢量机的模式识别算法的研究[D];西安科技大学;2006年
2 黄亚晴;基于FPGA矢量协处理器架构的信号处理机研究[D];中国舰船研究院;2015年
3 孙晨龙;基于矢量瓦片的矢量数据组织方法研究[D];北京建筑大学;2016年
4 张瑞雪;矢量压噪方法应用研究[D];中国石油大学(华东);2014年
5 张泽;基于多矢量观测的姿态确定算法仿真与分析[D];中北大学;2018年
6 王梅欣;分布式矢量瓦片生产与访问系统的设计与实现[D];西安电子科技大学;2016年
7 周皓;无关位在被测电路自己施加测试矢量方法中的研究与应用[D];湖南大学;2009年
8 郑涵容;基于模糊聚类的选择性支持向量机集成[D];贵州大学;2006年
9 吴青青;基于阈值矢量圆的OFDM峰均比降低技术研究与FPGA实现[D];南京理工大学;2016年
10 任娜;平面波经矩孔衍射的矢量理论研究[D];山西师范大学;2016年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026