收藏本站
《南京航空航天大学》 2016年
收藏 | 手机打开
二维码
手机客户端打开本文

有监督的相似性度量学习研究与应用

邹朋成  
【摘要】:近来大数据概念十分火热,机器学习作为其中的关键技术,相关研究正受到越来越多的重视,并在实践中得到了广泛应用。相似性度量是机器学习中一个非常重要的概念,很多主流机器学习方法如最近邻分类、支持向量机分类和K-Means聚类等,它们的性能都与样本间相似性度量函数紧密相关。现成的度量函数如欧式距离等未必能很好地捕获数据样本间的相似性,一个好的度量函数应该是与具体任务相适应的。然而手工选择或构造一个好的相似度量通常十分困难,因而近年来度量学习成为了一个热门的研究主题,它旨在利用数据监督信息,自动地学习一个好的相似度度量函数,从而提升学习系统的性能。目前已经有许多度量学习方法被提出,典型的是利用样本间的相似约束作为监督信息学习一个以矩阵为参数的相似度量函数,从而在特定问题中更好地捕获样本间潜在的相似特性。本文关注的重点是如何通过度量学习提升后续学习任务的性能,因为度量学习的目的不仅是为了获得好的相似性函数,更是期望结果学习器能依据所学度量获得性能更好的预测模型,对此仍有很多问题亟待解决。目前有监督的相似性度量学习方法主要是一类两步式学习,即先学习相似度函数,再将其放入结果学习器中训练得到最终的预测模型。这里的结果学习器是指根据任务选择的不同学习方法,如最近邻分类等。在两步式学习中,相似度量的学习和结果学习器的训练实际是分开的,尽管许多经验结果表明这类方法能提升最近邻分类这种局部近邻模型的性能,但仍需从理论上给出更多的解释;为了提升度量有效性,目前的方法常利用大量数据进行学习,而在大数据背景下新数据常常是逐步收集获得,对应地,度量学习将在增量式场景下进行,如何准确而快速地更新度量,仍需设计有效的算法;此外,目前两步式方法并不能保证所学度量能提升支持向量机等全局学习模型的性能,因而近期的研究越来越关注单步式的相似度量学习,即如何将相似度量函数和结果学习器有机结合进行联合学习,也有待进一步探索。针对上述的一些问题,本文开展了初步的研究与探索,主要的研究成果如下:1、度量学习在最近邻分类中的间隔分布解释:两步式度量学习方法常用最近邻分类器评估其有效性,尽管经验结果表明能提高最近邻分类精度,但尚未从理论上给出所学度量与最近邻分类器性能之间的联系,本文从间隔分布的角度做了解释,给出了最近邻分类器关于所学度量的泛化误差上界,表明这类方法是通过增大最近邻的间隔分布,提升分类性能。这一解释在已有方法上进行了实验验证,并且可用于设计新的度量学习算法。2、基于支持向量方法的增量式度量学习:对于现实环境下增量获得的数据,度量函数应根据新数据增量更新,而现有方法往往不够灵活。为此,提出一种基于支持向量方法的增量式度量学习算法,它将用于分类的支持向量学习推广应用到度量学习场景中,使度量函数能根据新信息灵活地更新。文中证明了增量更新所得度量与批学习所得度量是一致的,给出了算法的可行性与收敛性理论证明,并通过实验验证了算法有效性。3、针对回归任务的核嵌入式的度量学习:针对回归任务,提出一种核嵌入式的单步式度量学习算法。该方法结合支持向量回归,将相似度量嵌入核函数,联合优化度量和训练支持向量回归。由于真实数据中可能存在噪声或者冗余特征,算法通过对度量矩阵的稀疏约束,降低噪声或冗余特征的影响,并通过度量的集成学习,提升算法泛化性能。该算法在标准数据集上得到了验证,并应用于机场噪声预测问题。4、相似特征嵌入的相似度量学习:从相似空间学习的角度提出一种新的单步式相似度算法,每个样本均用自身与代表样本间的相似度刻画特征,考虑到这一学习过程中,既需要好的度量函数,也要选择合适的代表样本使构造的相似特征具有判别性。为此,算法将相似度量与lasso联合学习,在学习相似度函数的同时选择有效的代表样本。且所学度量矩阵无半正定约束,相似函数更灵活。文中从理论上分析了算法泛化性能,并得到了实验验证。
【学位授予单位】:南京航空航天大学
【学位级别】:博士
【学位授予年份】:2016
【分类号】:TP181

【相似文献】
中国期刊全文数据库 前10条
1 李红美;;论网络教育环境下学习者学习动机的激发[J];继续教育;2006年11期
2 李秀英;;网络环境下学生学习的特点[J];教师;2009年04期
3 夏定海,黄智英;教会学习 学会学习 终身学习[J];发明与革新;2000年06期
4 黄启兵;汪芳;;论网络时代学习与创新的统一[J];教学研究;2002年03期
5 陈相安;把档案部门建成学习型组织[J];中国档案;2003年09期
6 顾新,蔡兵,李久平;学习与学习型社会[J];软科学;2004年02期
7 郑军;试论编辑的学习特征[J];中国编辑;2005年06期
8 邱晓荣,孔一童;试论网络环境中的合作学习[J];当代教育论坛;2005年02期
9 冷平,王仁蓉,刁永锋;网络学习的成功要素探析[J];教育信息化;2005年03期
10 张建光;朱秀娥;张笑双;;网络学习社区的特征和构建[J];中国教育技术装备;2006年03期
中国重要会议论文全文数据库 前10条
1 韩文;;让合作学习在逆境中重生[A];中华教育理论与实践科研论文成果选编(第2卷)[C];2010年
2 吕启春;;浅谈小学数学中的小组合作学习[A];2014年1月现代教育教学探索学术交流会论文集[C];2014年
3 杜俊娟;;用学习动机培养策略课题的学习对体育教师进行研究性学习培养的实验研究[A];第七届全国体育科学大会论文摘要汇编(一)[C];2004年
4 瞿春波;;浅议合作学习之误区[A];校园文学编辑部写作教学年会论文集[C];2007年
5 时龙;;把握分析学情是改进教学和促进学习的基础[A];2012·学术前沿论丛——科学发展:深化改革与改善民生(下)[C];2012年
6 韦彩红;;如何组织学生共享学习成果[A];中华教育理论与实践科研论文成果选编(第2卷)[C];2010年
7 格保耿;;培养学生学习物理的兴趣[A];2014年5月现代教育教学探索学术交流会论文集[C];2014年
8 钮荣荣;;关于小学数学教学中小组合作学习的几点思考[A];2014年6月现代教育教学探索学术交流会论文集[C];2014年
9 陈妙;;让数学课堂效率得到真正的提高——浅谈新课改下学生学习兴趣的培养[A];中华教育理论与实践科研论文成果选编(第3卷)[C];2010年
10 黄春妙;;浅谈语文课堂合作学习的有效把握[A];中华教育理论与实践科研论文成果选编(第3卷)[C];2010年
中国重要报纸全文数据库 前10条
1 农行浙江东阳支行 吴新国 周龙飞;银行如何创建学习型组织[N];上海金融报;2003年
2 西北师范大学 李瑾瑜;校长:如何引领和促进教师学习[N];中国教育报;2008年
3 永寿县店头中学 刘俊锋;大力提倡合作学习 全面促进有效教学[N];咸阳日报;2009年
4 本报评论员;要在真学习上下功夫[N];酒泉日报;2009年
5 本报记者 李天然;学习应该是一种终身行为[N];大连日报;2010年
6 刘继芳;浅议建设学习型党组织中的“学习”内涵[N];伊犁日报(汉);2010年
7 哈尔滨市第五医院 蒙硕;浅谈医院创建学习型党组织[N];黑龙江日报;2010年
8 翟爱霞;浅谈如何深入推进学习型党组织建设[N];太行日报;2011年
9 李振 上海交通大学国际与公共事务学院;制度变迁中的制度学习[N];中国社会科学报;2012年
10 重庆市教育评估院院长、中国高等教育学会学习科学研究分会常务副会长 龚春燕;实施新学习,建设学习型社会[N];中国教育报;2013年
中国博士学位论文全文数据库 前10条
1 徐峰;基于社会网络的大学生学习网络结构研究[D];江西财经大学;2014年
2 付亦宁;本科生深层学习过程及其教学策略研究[D];苏州大学;2014年
3 冯子勇;基于深度学习的图像特征学习和分类方法的研究及应用[D];华南理工大学;2016年
4 王星;关系分类模型的学习界限与应用[D];哈尔滨工业大学;2015年
5 潘剑寒;基于多潜在空间的迁移学习算法研究[D];合肥工业大学;2016年
6 杨春;反馈类型对大学生学习成绩的影响:自我调节学习的中介作用[D];东北师范大学;2016年
7 王浩宇;资源整合、创业学习与新创企业创新的关系研究[D];吉林大学;2017年
8 田青;有序学习及在图像分析中的应用研究[D];南京航空航天大学;2016年
9 邹朋成;有监督的相似性度量学习研究与应用[D];南京航空航天大学;2016年
10 杨南昌;学习科学视域中的设计研究[D];华东师范大学;2008年
中国硕士学位论文全文数据库 前10条
1 王以宣;感知教师支持、基本心理需要满足与初中学生英语学习倦怠的关系[D];上海师范大学;2015年
2 李荣敬;不同情绪状态对学习判断的影响[D];河北师范大学;2015年
3 李兰翠;M00C学习平台的应用研究[D];上海师范大学;2015年
4 孙航;农民工随迁子女学习生态研究[D];上海师范大学;2015年
5 左扬扬;碎片化时代下企业微课程设计与应用[D];上海师范大学;2015年
6 戚政霞;基于翻转课堂的小学语文教学设计研究[D];上海师范大学;2015年
7 苏治芳;小学中高年级“微课题式”语文学习的实践研究[D];上海师范大学;2015年
8 张华;提高中职生语文课堂学习动力的策略研究[D];上海师范大学;2015年
9 强敏;“学困生”的现状调查与教育转化途径研究[D];宁夏师范学院;2015年
10 谢平;对初中学困生学习素质提高的情感教育研究[D];河北大学;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026