收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

黎曼流形上的学习理论—在线分类和多核算法

叶桂波  
【摘要】: 随着现代科学技术的发展,人们每天都要面对大量数据。如何去理解和处理这些数据并有效地加以利用成了当今科学技术的一个重要研究课题。 机器学习是计算机得以广泛应用后逐渐发展起来的一门学科,它是研究如何利用已有的经验数据设计一些算法使计算机具有一些学习功能即从经验数据中学习出一些规律。学习理论是其中的一个分支,它的目标是给机器学习中的一些算法提供理论支持并由此设计一些更有效的算法。本文主要分析两类算法—在线分类算法和多核算法。特别地,本文的分析适用于流形学习(即所给的数据或所研究的函数关系分布在一个低维流形上),欧氏空间的情形只是其中的一个特例。 首先,我们研究了一类更符合实际操作的全在线分类算法。它是一种可以表达为再生核希尔伯特空间中泛函极小化问题的在线算法,其包含的损失函数满足凸性。该算法的一个重要特征是正则化参数随着时间的变化而变化,因此跟以前正则化参数固定的半在线算法有很大不同。对于该算法的误差分析,我们先用一个新方法来估计由正则化参数变化而产生的漂移误差,然后在再生核希尔伯特空间中估计样本误差的强收敛阶。最后,对应于几个特殊的损失函数,我们结合关于额外分类误差和额外泛化误差的比较定理以及关于正则化误差的衰减性假设得到该算法对应的额外误差估计。特别地,我们给出了对应于q-范数的支持向量损失函数(q≥1)的全在线支持向量机的收敛阶。损失函数是凸的这一假设在我们的分析中起着十分重要的作用。我们的结果对在线算法给出了坚实的理论基础,是除最小二乘回归算法外第一个完整的全在线分类算法的理论分析。它不仅为更广的学习算法提出了理论问题,而且对设计更有用的算法提供了数学上的理论指导。 从2000年开始,流形学习逐步成了学习理论中的一个热门话题。它的核心思想是假设数据及函数关系分布在一个嵌入到n维欧氏空间的d维子流形上,一般地,d比n小很多。但已有文献的大多数研究是实验性的,即通过大量数据的算法应用说明流形结构对算法的影响。一般是用数值结果说明实际数据及所学函数关系中有很强的流形结构,这些结构可以大大提高算法的收敛性和降低算法复杂性。但到现在为止,只有个位数的文章有较严格的数学分析。因此如何在数学上严格证明流形结构对学习算法的本质影响成了一个公认的,困难而又意义重大的研究课题。本文,我们给出了定义在连通紧致C~∞黎曼流形上高斯函数的逼近和学习能力。当被逼函数属于Lip(s)时,方差为σ的高斯函数卷积被逼函数有O(σ~s)的一致逼近阶;而当被逼函数属于Sobolev空间H_2~p(X)时,方差为σ的高斯函数卷积被逼函数在L~p(X)意义下有O(σ~2)的收敛阶。其中,紧黎曼流形中的一致凸邻域在得到相应逼近阶过程中起着十分关键的作用。利用这些结果,我们得出了学习理论中一些多核算法的收敛阶(包括回归和分类),这些收敛阶比欧氏空间情形下(即输入空间只是作为欧氏空间的子集,不利用流形的特殊结构)给出的收敛阶好很多,从而有力地说明了多核算法在实际应用中的有效性。另外,通过比较逼近阶,我们说明了单核算法和多核算法的本质区别。我们的数学分析严格地说明了黎曼流形的维数对多核高斯学习算法的本质影响,是少见的理论分析之一,有着重大的理论及应用前景。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 郭孝英;存在保圆向量场的黎曼流形[J];浙江大学学报(理学版);1984年02期
2 程旭;;带边Riemann流形上Laplace算子的第一特征值之估计[J];山东大学学报(工学版);1990年01期
3 焦振华;;非负曲率黎曼流形上穷竭函数的构造[J];杭州电子科技大学学报;2006年01期
4 刘旺金;紧致C~∞黎曼流形上C~1常微系统的拓朴熵[J];四川师范大学学报(自然科学版);1980年04期
5 杨天举;P.Hagedorn定理的拓广[J];西北大学学报(自然科学版);1985年03期
6 康贻建;;黎曼流形的B子流形[J];扬州大学学报(自然科学版);1991年03期
7 肖刚,侯传燕,王宝勤;微分动力系统的几何结构[J];新疆师范大学学报(自然科学版);2004年01期
8 丁顺汉;;拟常曲率黎曼流形中具有平行平均曲率向量的子流形[J];吉林大学学报(理学版);2006年03期
9 董太亨;常曲率黎曼流形中的广义旋转极小超曲面[J];浙江大学学报(理学版);1987年03期
10 宣满友;某些黎曼流形中的全脐子流形[J];数学研究与评论;1989年02期
11 韩晓盼;;黎曼流形上微分形式的■类[J];湖州师范学院学报;2009年01期
12 周克希;关于紧致黎曼曲面的割迹[J];华东师范大学学报(自然科学版);1984年02期
13 李中林;常曲率黎曼流形容有正交全脐超曲面族的某些特征[J];浙江大学学报(理学版);1987年04期
14 崔玉衡;;黎曼流形中的平行曲率子流形[J];辽宁大学学报(自然科学版);1990年03期
15 马传渔;刘建明;;黎曼流形的半对称循环联络[J];南京大学学报(自然科学版);1993年04期
16 金卫雄;;常QC黎曼流形中具有常数量曲率的超曲面[J];连云港师范高等专科学校学报;2006年02期
17 詹华税;沈忠民;;具非负Ricci曲率和次大体积增长的流形[J];数学年刊A辑(中文版);2006年04期
18 张亚阳;许文彬;;1/4对称度量循环联络的共形变换和射影变换[J];渤海大学学报(自然科学版);2006年03期
19 刘三阳;朱石焕;肖刚;;黎曼流形上Fritz John必要最优性条件[J];辽宁师范大学学报(自然科学版);2007年03期
20 郑媛;徐慧群;;以数量曲率为正的闭黎曼流形为出发流形的F-调和映射[J];杭州师范大学学报(自然科学版);2008年05期
中国重要会议论文全文数据库 前2条
1 殷雅俊;;以史为鉴看曲面微纳米力学的几何化[A];科学殿堂的力学之光——第五届全国力学史与方法论学术研讨会文集[C];2011年
2 张静茹;何耀;刘兴涛;朱明清;陈宗海;;基于区域协方差描述子的视频静止目标检测[A];第13届中国系统仿真技术及其应用学术年会论文集[C];2011年
中国博士学位论文全文数据库 前10条
1 付风云;半(次)黎曼流形上的共形和射影映射的几何不变性研究[D];南京理工大学;2012年
2 李奇睿;黎曼流形上的一些曲率问题[D];浙江大学;2014年
3 蒋新荣;黎曼流形上非线性抛物方程的性质研究[D];华东师范大学;2011年
4 郭希;黎曼流形上曲率泛函的变分问题[D];清华大学;2013年
5 黄勇;张量概念的形成与张量分析的建立[D];山西大学;2008年
6 肖刚;几类向量变分不等式的研究[D];西安电子科技大学;2008年
7 叶桂波;黎曼流形上的学习理论—在线分类和多核算法[D];复旦大学;2007年
8 赵恩涛;子流形上几何、分析与拓扑的若干问题研究[D];浙江大学;2009年
9 胡波文;抛物方程时空凸解的常秩定理[D];中国科学技术大学;2011年
10 潘志伟;统计学习算法:多分类及非独立同分布抽样下的回归[D];中国科学技术大学;2009年
中国硕士学位论文全文数据库 前10条
1 付巍巍;黎曼流形上非光滑优化最优性条件的研究[D];辽宁工程技术大学;2009年
2 刘雪娇;关于黎曼流形上A-调和方程的研究[D];哈尔滨工业大学;2010年
3 王南珏;一类紧致黎曼流形的特征值问题研究[D];浙江大学;2010年
4 陆亚哲;正曲率黎曼流形拓扑结构的研究[D];西南交通大学;2012年
5 刘丹丹;黎曼流形上的Caccioppoli不等式[D];哈尔滨工业大学;2010年
6 贾淑娟;奇数维黎曼流形及具有正Ricci曲率的黎曼流形的直径估计问题[D];曲阜师范大学;2010年
7 吴青;奇数维黎曼流形上的一个刚性现象[D];曲阜师范大学;2010年
8 郑红梅;黎曼流形上的半对称度量联络[D];山西师范大学;2012年
9 王建红;黎曼流形上薛定谔方程的Harnack估计[D];华东师范大学;2010年
10 肖志美;黎曼流形中子流形的刚性问题[D];江西师范大学;2010年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978