收藏本站
《西安电子科技大学》 2003年
收藏 | 手机打开
二维码
手机客户端打开本文

核机器学习方法研究

周伟达  
【摘要】: 从上世纪60年代始,人们开始研究基于数据的机器学习问题理论,直至上世 纪九十年代,在Vapnik等人的努力下,基于数据的机器学习理论得到了长足的发 展,形成了一门比较完善的统计学习理论,并在此基础上创建了一类全新的通用 的有效的机器学习算法:支撑矢量机。统计学习理论的精髓在于引入了假设函数 集容量控制的概念,学习机为了获得好的推广能力,需在假设函数集容量控制和 最小化经验风险之间作一个好的折衷。在统计学习理论出现和完善之前,在机器 学习中引入核函数,更广义地说就是引入非线性映射和非线性函数技术早已有之。 但核函数真正在机器学习中获得成功应用始于支撑矢量机。其原因就是由于引入 了非线性函数,使得学习机假设函数集太大,容易导致学习机的过拟合而降低推 广能力。正是统计学习理论和核技术的结合,才触发了从上世纪九十年代中期开 始的核机器的出现和快速成功的发展。目前主要的核机器技术包括支撑矢量机、 核Fisher分类器和核主分量分析等。本论文的所有工作正是在上述结合点上展开,主要包括两大部份的内容:支撑矢量机算法分析和改进方面以及基于统计学习理 论的新核机器算法方面。 在支撑矢量机算法分析和改进方面,本论文主要作了以下四方面的工作:第一、分析了支撑矢量机的基本几何性质。我们针对模式识别和回归估计两 类支撑矢量机,分别分析和证明了它们的一些基本几何性质,基于这些性质讨论 了支撑矢量机对新增样本的推广能力,得到了一些非常有价值的结论。从这些结 论可以看出支撑矢量机对新增样本具有良好的推广能力,并且支撑矢量机是一种 可积累的学习模型。 第二、提出了线性规划支撑矢量机。我们通过对统计学习理论中一些重要结论,特别是线性假设函数集VC维数的分析,得到了一类线性规划支撑矢量机。在线性 规划支撑矢量机中,以对VC维数界作适当放宽为代价,从而降低支撑矢量机的求 解复杂度。在该章最后对人工和实际样本的实验结果说明了线性规划支撑矢量机 采用放宽VC界对学习机推广能力的影响是可以接受的,而在计算复杂度上明显优 于原支撑矢量机。 第三、提出了无约束规划回归估计支撑矢量机。当采用高斯损失函数时,我们 提出了一种无约束支撑矢量机回归估计算法,并证明了该算法具有严格的凸性,不存在局部极小解。该算法较标准支撑矢量机而言,由于不存在线性约束,可以 雷达信号处理重点实验室 WP=6 II核机器学习方法研究 采用快速的多维搜索数值方法,如最陡下降法、Newton法和共轭梯度法等具有较 快的优化速度,而且能够直接推广到复数域中。 第四、提出了自适应支撑矢量机算法。通常无线通信信道具有时变性,要求多 用户检测算法具有自适应性。我们提出了一种自适应支撑矢量机方法,并把它用 于信道时变情况下的多用户检测。一方面由于支撑矢量机引入结构风险,使得支 撑矢量机多用户检测的推广能力较好且对训练要求的样本数也大大下降;另一方 面由于支撑矢量机的非线性特性可以比线性检测器更好地逼近最佳检测器。 在新的基于统计学习理论的核机器方面,本论文主要作了以下四方面的工作。 第一、提出了一种新的支撑矢量机模型选择准则。支撑矢量机模型选择由于 其高度的非线性一直是一个非常困难的公开问题。我们通过对支撑矢量机推广能 力的分析,提出了一种构造性的与样本分布有关的推广能力衡量准则。该准则与 统计学习理论中的推广能力准则具有几何上的一致性,由样本的二阶统计量构成,比已有的完全不依赖于样本分布的推广能力上界更能反映学习过程的收敛性和收 敛速率。较为重要的一点是该准则在学习过程之前是可处理的,所以它可以用作 所有分类器中数据预处理的准则,同时也可以为支撑矢量机模型的选择提供依据。 第二、提出了复值支撑矢量机算法。支撑矢量机由于采用了Vapnike-不敏感 损失函数和数值优化算法,不能简单地推广到复数域。为了使支撑矢量机适用于 复值样本的处理,我们发展了模式识别复值支撑矢量机和回归估计复值支撑矢量 机。首先我们受到数字通信中相位调制方法的启示,定义了复平面上的N进制复 值符号函数。然后基于所定义的复值符号函数提出并推导了复数域的二分和四分 模式识别支撑矢量机。对于复数域的二分模式识别问题,我们证明了二分模式识 别复值支撑矢量机与采用增维方法的实值支撑矢量机等效,因而它仅具数学意义。 对于复数域的四分模式识别问题,四分模式识别复值支撑矢量机与数字通信中 4-QAM解调决策完全一致,因此将具有良好的实用价值。我们进一步在模式识别 复值支撑矢量机中通过引入复核函数及其对应的核函数组得到了非线性模式识别 复值支撑矢量机,并讨论了几种典型的复核函数和核函数组。另一方面,严格地 说复值样本的回归估计并不能简单地分解为分别对实部和虚部的回归估计。我们 针对复值样本的回归估计提出了线性回归估计复值支撑矢量机,并类似模式识别 复值支撑矢量机进一步通过引入复核函数以及对应的核函数组得到了非线性回归 估计复值支撑
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 张艳宁,郑江滨,廖熠,赵荣椿;基于支撑矢量机的遥感图像目标识别[J];西北工业大学学报;2002年04期
2 张莉,周伟达,焦李成;用于一维图像识别的支撑矢量机方法[J];红外与毫米波学报;2002年02期
3 ;有关“支撑矢量机推广能力分析”一文的更正[J];电子学报;2002年11期
4 郝志峰,舒蕾,林大瀛,杨晓伟;支撑矢量机的改进算法研究[J];计算机工程与应用;2003年12期
5 田鹏举;基于小波核支撑矢量机的入侵检测方法[J];微机发展;2003年11期
6 周伟达,张莉,焦李成;自适应支撑矢量机多用户检测[J];电子学报;2003年01期
7 焦李成,屈炳云,周伟达;一种基于支撑矢量机的多用户检测算法[J];电子学报;2002年10期
8 罗公亮;从神经网络到支撑矢量机(下)[J];冶金自动化;2002年01期
9 韩钢,张文红,李建东,陈彦辉;基于高阶累积量和支撑矢量机的调制识别研究[J];系统工程与电子技术;2003年08期
10 王永刚,焦李成;基于支撑矢量机的TD-SCDMA系统多用户检测器[J];西安电子科技大学学报;2004年05期
11 李映,白本督,焦李成;支撑矢量机的分类机理[J];系统工程与电子技术;2001年09期
12 张文红,韩刚,李建东;基于支撑矢量机的通信信号调制识别方法研究[J];通信技术;2003年02期
13 冯斌,须文波;基于回归支撑矢量机的生化变量预估模型[J];计算机工程与应用;2004年36期
14 张艳宁,郑江滨,候云舒,赵荣椿;基于SOM和SVM的遥感图像目标识别[J];系统工程与电子技术;2002年07期
15 丁爱玲,谢小军,闻怡;具有高斯核函数的支撑矢量机与径向基函数分类器的比较[J];交通与计算机;2003年03期
16 汪西莉,刘芳,焦李成;基于大规模数据的支撑矢量机的训练和分类[J];西安电子科技大学学报;2002年01期
17 罗公亮;从神经网络到支撑矢量机(上)[J];冶金自动化;2001年05期
18 张 莉,周伟达,焦李成;一类新的支撑矢量机核[J];软件学报;2002年04期
19 丁爱玲,郑建国,刘芳;支撑矢量机的改进分类器算法[J];长安大学学报(自然科学版);2002年04期
20 施云惠,阮秋琦;基于再生核的自由曲面重构[J];黑龙江大学自然科学学报;2005年01期
中国重要会议论文全文数据库 前10条
1 王佩;申家振;张艳宁;;基于支撑矢量机的SAR图像边缘检测方法[A];信号与信息处理技术——第一届信号与信息处理联合学术会议论文集[C];2002年
2 张艳宁;郑江滨;赵荣椿;;一种有效的遥感图像识别方法[A];第九届中国体视学与图像分析学术会议论文集[C];2001年
3 徐亚兰;李云辉;曹辉;;再生核空间的插值积分公式[A];第九届全国微分方程数值方法暨第六届全国仿真算法学术会议论文集[C];2004年
4 石培培;刘红英;;具有单个等式和界约束二次规划的新算法[A];中国运筹学会第八届学术交流会论文集[C];2006年
5 王启明;王旭旸;杨溪林;罗公亮;;支撑矢量机初步研究[A];2001年中国智能自动化会议论文集(上册)[C];2001年
6 张艳宁;赵荣椿;梁怡;;一种有效的图像目标识别方法[A];加入WTO和中国科技与可持续发展——挑战与机遇、责任和对策(下册)[C];2002年
7 岑芳明;王明文;王鹏鸣;戴玉娟;;基于核偏最小二乘分类的垃圾邮件过滤[A];第四届全国信息检索与内容安全学术会议论文集(上)[C];2008年
8 刘一;鲍景富;李明玉;;基于QRD-RLS算法的简化Volterra级数功放建模方法研究[A];2009年全国微波毫米波会议论文集(下册)[C];2009年
9 孙舒;刘莉;张瑛;;基于典型负荷模式的异常数据处理[A];中国高等学校电力系统及其自动化专业第二十四届学术年会论文集(中册)[C];2008年
10 孙庆杰;;基于颜色量化的人体检测[A];全国第十五届计算机科学与技术应用学术会议论文集[C];2003年
中国重要报纸全文数据库 前2条
1 新疆 张迎新;“管家婆”特训第5课查询进阶[N];电脑报;2004年
2 马一蕊;以画入诗匠心具[N];河北日报;2001年
中国博士学位论文全文数据库 前10条
1 周伟达;核机器学习方法研究[D];西安电子科技大学;2003年
2 张莉;支撑矢量机与核方法研究[D];西安电子科技大学;2002年
3 任俊;基于支撑矢量机的图像分类、车牌识别及嵌入式应用研究[D];浙江大学;2005年
4 冯斌;群体智能优化算法及其在生化过程控制中的应用研究[D];江南大学;2005年
5 李小平;智能信号分类方法研究[D];西安电子科技大学;2004年
6 李晓东;计算智能在混沌通信系统中的应用研究[D];电子科技大学;2005年
7 郑春红;支撑矢量机应用的关键技术研究[D];西安电子科技大学;2005年
8 李青;优化核方法[D];西安电子科技大学;2007年
9 韩钢;自适应单载波、多载波调制中信号盲检测技术研究[D];西安电子科技大学;2003年
10 王夏黎;智能交通视频监视技术研究与应用[D];西北大学;2004年
中国硕士学位论文全文数据库 前10条
1 陈荣胜;基于支撑矢量机的入侵检测[D];西安电子科技大学;2005年
2 杜薇薇;小波变换像空间的描述[D];哈尔滨理工大学;2004年
3 马晓剑;某些再生核空间中数值逼近的若干问题[D];哈尔滨理工大学;2003年
4 李丙春;基于医学影像的计算机模式分类技术研究与应用[D];西北大学;2004年
5 朱浩悦;脱机中文签名鉴别系统关键技术研究[D];西北大学;2006年
6 王永娟;基于高阶累积量的OFDM信号调制识别技术研究[D];西安电子科技大学;2009年
7 张磊;基于独立分量分析的入侵检测系统研究[D];西安电子科技大学;2004年
8 王玉婧;调制制式识别算法研究及实现[D];西安电子科技大学;2007年
9 江悦;有界线性算子的样条插值逼近及其在数值计算中的应用[D];国防科学技术大学;2004年
10 陈燕;基于医学影像的模式分类与聚类挖掘技术的研究与应用[D];西北大学;2005年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978