收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

黎曼流形上的学习理论—在线分类和多核算法

叶桂波  
【摘要】: 随着现代科学技术的发展,人们每天都要面对大量数据。如何去理解和处理这些数据并有效地加以利用成了当今科学技术的一个重要研究课题。 机器学习是计算机得以广泛应用后逐渐发展起来的一门学科,它是研究如何利用已有的经验数据设计一些算法使计算机具有一些学习功能即从经验数据中学习出一些规律。学习理论是其中的一个分支,它的目标是给机器学习中的一些算法提供理论支持并由此设计一些更有效的算法。本文主要分析两类算法—在线分类算法和多核算法。特别地,本文的分析适用于流形学习(即所给的数据或所研究的函数关系分布在一个低维流形上),欧氏空间的情形只是其中的一个特例。 首先,我们研究了一类更符合实际操作的全在线分类算法。它是一种可以表达为再生核希尔伯特空间中泛函极小化问题的在线算法,其包含的损失函数满足凸性。该算法的一个重要特征是正则化参数随着时间的变化而变化,因此跟以前正则化参数固定的半在线算法有很大不同。对于该算法的误差分析,我们先用一个新方法来估计由正则化参数变化而产生的漂移误差,然后在再生核希尔伯特空间中估计样本误差的强收敛阶。最后,对应于几个特殊的损失函数,我们结合关于额外分类误差和额外泛化误差的比较定理以及关于正则化误差的衰减性假设得到该算法对应的额外误差估计。特别地,我们给出了对应于q-范数的支持向量损失函数(q≥1)的全在线支持向量机的收敛阶。损失函数是凸的这一假设在我们的分析中起着十分重要的作用。我们的结果对在线算法给出了坚实的理论基础,是除最小二乘回归算法外第一个完整的全在线分类算法的理论分析。它不仅为更广的学习算法提出了理论问题,而且对设计更有用的算法提供了数学上的理论指导。 从2000年开始,流形学习逐步成了学习理论中的一个热门话题。它的核心思想是假设数据及函数关系分布在一个嵌入到n维欧氏空间的d维子流形上,一般地,d比n小很多。但已有文献的大多数研究是实验性的,即通过大量数据的算法应用说明流形结构对算法的影响。一般是用数值结果说明实际数据及所学函数关系中有很强的流形结构,这些结构可以大大提高算法的收敛性和降低算法复杂性。但到现在为止,只有个位数的文章有较严格的数学分析。因此如何在数学上严格证明流形结构对学习算法的本质影响成了一个公认的,困难而又意义重大的研究课题。本文,我们给出了定义在连通紧致C~∞黎曼流形上高斯函数的逼近和学习能力。当被逼函数属于Lip(s)时,方差为σ的高斯函数卷积被逼函数有O(σ~s)的一致逼近阶;而当被逼函数属于Sobolev空间H_2~p(X)时,方差为σ的高斯函数卷积被逼函数在L~p(X)意义下有O(σ~2)的收敛阶。其中,紧黎曼流形中的一致凸邻域在得到相应逼近阶过程中起着十分关键的作用。利用这些结果,我们得出了学习理论中一些多核算法的收敛阶(包括回归和分类),这些收敛阶比欧氏空间情形下(即输入空间只是作为欧氏空间的子集,不利用流形的特殊结构)给出的收敛阶好很多,从而有力地说明了多核算法在实际应用中的有效性。另外,通过比较逼近阶,我们说明了单核算法和多核算法的本质区别。我们的数学分析严格地说明了黎曼流形的维数对多核高斯学习算法的本质影响,是少见的理论分析之一,有着重大的理论及应用前景。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 缪继高;整体核算法解题两例[J];中学数学月刊;2000年02期
2 王桂芬;关于零售企业采用进价核算法的探讨[J];济南交通高等专科学校学报;1998年04期
3 朱国敏;试论商品核算法的变革[J];上海商业;1995年03期
4 周士藩;;整体核算法解比赛问题[J];初中生数学学习;2001年18期
5 雷莉虹;;浅谈印刷业订单成本核算法[J];中国印刷;2000年10期
6 方越峦,黄富荣;实物核算法与货币核算法问题研究[J];统计与决策;2005年01期
7 赵珺妮;以相对直接成本为基础的边际贡献核算法[J];沿海企业与科技;2005年02期
8 梁惠民;王国民;;国民经济货币、资金核算法——宏现经济管理的一个有效工具[J];数量经济技术经济研究;1986年05期
9 贾春雷;;一种基于决策表的求核算法[J];硅谷;2010年19期
10 ;一零二厂推行材料馀额核算法的初步经验[J];钢铁;1955年04期
11 史春;王志富;;改进总量核算法在某排水河推求流量中的应用[J];山西建筑;2011年19期
12 陈亚盛;适时制成本核算法简介[J];财会月刊;1998年01期
13 艾建宗;建立现代企业制度银行怎么办[J];金融与经济;1995年03期
14 王彪;赵俊岚;蔚淑君;杨丽君;;基于模糊知识的启发式粗糙集约简与核算法[J];郑州大学学报(理学版);2007年03期
15 吴文章,余慎康;浅析原煤生产过程成本核算法[J];江苏煤炭;2000年01期
16 孙观华;;简便易行的现金铺底核算法[J];财会通讯;1983年03期
17 胡宾;;养猪户生产成本的经验核算法[J];农业知识;2005年24期
18 董桂才;朱晨;;中国工业全要素生产率增长行业差异及其影响因素研究——基于增长核算法2位数编码工业行业面板数据的实证分析[J];中央财经大学学报;2013年11期
19 ;认真贯彻材料馀额核算法 进一步加强会计监督与材料管理工作[J];钢铁;1955年01期
20 李天志;;基于二进制的决策表求核算法[J];电脑开发与应用;2008年03期
中国重要会议论文全文数据库 前20条
1 吕存款;;关注五个运动认知维度促进体育课堂深度学习的思考——以开放性运动项目“篮球”教学为例[A];2020年课堂教学教育改革专题研讨会论文集[C];2020年
2 任婷婷;;基于核心素养促进深度学习的四个策略——以道德与法治课程《爱在家人间》为例[A];华南教育信息化研究经验交流会2021论文汇编(三)[C];2021年
3 侯赟;;高中英语道德课堂的构建案例[A];华南教育信息化研究经验交流会2021论文汇编(三)[C];2021年
4 李倩;;探讨合作学习在小学语文阅读教学中的应用[A];华南教育信息化研究经验交流会2021论文汇编(三)[C];2021年
5 唐嘉;;终身学习背景下高职院校公共基础课程改革[A];2021年教育创新网络研讨会论文集(二)[C];2021年
6 张美君;;基于网络环境下小学生英语合作学习的探究[A];广东教育学会2019-2020年度学术成果集(五)[C];2020年
7 余渭深;向朝红;;对多媒体网络环境下外语学习理论的研究[A];教育技术应用与整合研究论文[C];2005年
8 黄慧;何昭红;;转化学习理论在心理咨询员培训中的应用[A];二十年“心”之探索——高校心理健康教育理论与方法研究[C];2010年
9 侯维芝;吕鑫祥;;基于建构主义学习理论的高职教育教学设计[A];中国职业技术教育学会2006年学术年会论文集[C];2006年
10 庹海伦;;学习理论,触类旁通[A];中国教育干部网络学院——高校学生党支部书记培训成果汇编(2019)[C];2019年
11 王华容;;现代建构主义学习理论的困惑[A];第十届全国心理学学术大会论文摘要集[C];2005年
12 杨雪;刘英杰;阚宝朋;;基于建构主义学习理论的网络三维虚拟学习环境的设计[A];计算机与教育:应用促进学与教创新——全国计算机辅助教育学会第十三届学术年会论文集[C];2008年
13 武杰;;特殊教育实践对几种学习理论的检验及其分析[A];第九届全国心理学学术会议文摘选集[C];2001年
14 肖健华;孙德山;吴今培;;基于支持向量数据描述的多类分类算法及其在人脸识别中的应用[A];2005年中国智能自动化会议论文集[C];2005年
15 韩丽萍;殷鑫;;运用建构主义学习理论,培养学生综合能力[A];中华中医药学会中医诊断学分会第十次学术研讨会论文集[C];2009年
16 高红霞;蔡锦龙;;基于支持向量机的印刷电路板焊点分类算法[A];中国自动化学会中南六省(区)2010年第28届年会·论文集[C];2010年
17 赵波;唐常杰;朱明放;魏大刚;左劼;;基于基因表达式编程的属性融合分类算法[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
18 赵红;;合作学习在小学语文阅读教学中的可行性研究[A];《教师教育能力建设研究》科研成果汇编(第七卷)[C];2018年
19 杜阿宁;秦宝山;;面向网络信息过滤的文本分类算法研究[A];全国网络与信息安全技术研讨会论文集(上册)[C];2007年
20 吴晓伟;程志国;石丹;岳山峰;于金平;杨艳秋;马向辉;宁光波;陈晶;;小学课堂教学中激发学生学习兴趣的研究[A];新课改背景下课堂教学方法与手段的有效性研究科研成果集(第八卷)[C];2017年
中国博士学位论文全文数据库 前8条
1 叶桂波;黎曼流形上的学习理论—在线分类和多核算法[D];复旦大学;2007年
2 唐晓芬;极限学习机不平衡数据分类算法研究[D];西北大学;2018年
3 余良俊;属性加权的贝叶斯网络分类算法及其应用研究[D];中国地质大学;2018年
4 邵喜高;基于统计学习理论的多核预测模型研究及应用[D];中南大学;2013年
5 陈填锐;确定学习理论与智能振动故障诊断[D];华南理工大学;2010年
6 常群;支持向量机的核方法及其模型选择[D];哈尔滨工业大学;2007年
7 刘家辰;集成单类分类算法及其应用研究[D];西安电子科技大学;2015年
8 王婕婷;随机一致性视角下的可学习理论与方法[D];山西大学;2021年
中国硕士学位论文全文数据库 前20条
1 刘爽;基于泛在学习理论的X大学硕士研究生在线学习研究[D];渤海大学;2020年
2 吴敏润;基于快速多项式核的分类算法研究[D];江西师范大学;2020年
3 朱旭阳;基于深度学习的脑电及功能磁共振信号的识别研究[D];电子科技大学;2019年
4 肖满英;高中生英语微学习现状调查研究[D];赣南师范大学;2018年
5 刘佳媛;基于场景理解的汉语词汇学习软件的设计与实现[D];华中师范大学;2019年
6 李飞;基于迁移学习的风功率预测算法研究[D];哈尔滨工业大学;2018年
7 孟根强;基于深度学习的行人重识别研究[D];西安电子科技大学;2019年
8 张舒;基于建构主义学习理论高校思想政治教育理论课实效性研究[D];桂林理工大学;2017年
9 庞俊杰;增强学习和对手分类在人机谈判中的应用研究[D];厦门大学;2018年
10 王啸雨;基于深度学习的水面无人艇船舶检测技术研究[D];江苏科技大学;2019年
11 李韦;面向深度学习的多媒体流处理框架研究与应用[D];中国科学技术大学;2019年
12 谢栢春;论建构主义学习理论在中学物理教学中的实际应用[D];江西师范大学;2018年
13 张子健;兴趣教学对初中生英语学习影响的研究[D];辽宁师范大学;2019年
14 张婉婉;建构主义学习理论在初中英语词汇教学中的运用研究[D];华中师范大学;2018年
15 张文佳;基于深度学习理论的高中英语阅读教学策略研究[D];海南师范大学;2018年
16 罗鹏;基于深度学习理论的旋转机械故障诊断方法[D];湖南大学;2018年
17 梁小帆;基于关联主义学习理论的创客教育模式设计和应用研究[D];河北师范大学;2018年
18 徐俊杰;中职数学教学中认知同化学习理论的应用研究[D];上海师范大学;2018年
19 张建飞;基于深度学习的目标跟踪研究及在白带识别中的应用[D];重庆理工大学;2018年
20 蔡天一;基于学习理论的中职《人力资源管理》课程教学改革研究[D];天津职业技术师范大学;2018年
中国重要报纸全文数据库 前20条
1 记者 房名名;宁夏GDP统一核算法得到全国总结推广[N];宁夏日报;2010年
2 尹红英;点燃青少年学习理论热情[N];中国新闻出版广电报;2021年
3 共青团山西大学委员会副书记 武晋维;强素质用好“学习强国”[N];山西日报;2020年
4 记者 韩世文;建设深度学习的“泰安样板”[N];中国教师报;2020年
5 袁超群 实习生 吴欣;带头学习理论提高执政能力[N];西安日报;2005年
6 记者 郭彬;着力改进学习方式 不断增强学习实效[N];沧州日报;2019年
7 厦门外国语学校行政党支部书记 刘震;激发学习能量 争创“学习型”支部[N];厦门日报;2019年
8 牡丹松轮 王克民;学习理论是共产党员的政治任务[N];中国远洋海运报;2019年
9 云南省委党校(云南行政学院)副校(院)长 李加坤;在学习理论上要舍得花精力[N];学习时报;2019年
10 本报记者 孙文娟;用好“精神粮仓” 争做“学习达人”[N];西藏日报(汉);2019年
11 张凤波;学理论离不开强读强记[N];大兴安岭日报;2019年
12 本报记者 胡礼政;学习理论做榜样 脚踏实地当先锋[N];和田日报(汉);2019年
13 李峰;学习就要日积月累持之以恒[N];辽宁日报;2019年
14 记者 陈明慧;省委举行学习报告会[N];新华日报;2019年
15 张凤波;把握好学习的方向[N];解放军报;2019年
16 罗升平 姚鹏宇;学习别患上“荔枝病”[N];解放军报;2019年
17 嘉兴支队 顾朝清;用“最有效的办法”学习理论[N];人民武警报;2019年
18 刘艳翠;学习理论 明确服务发展方向[N];本溪日报;2019年
19 庆阳支队 黄晓东;强化学习自觉[N];人民武警报;2019年
20 江苏师范大学教育科学学院 赵蒙成;“修德成人”:深度学习的核心指向[N];中国社会科学报;2019年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978