收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

领域自适应学习算法及其应用研究

许敏  
【摘要】:传统的机器学习假定训练域与测试域独立同分布,将由训练数据集得到的模型直接应用于测试集。但在实际应用中,这种假设并不一定成立,若训练域与测试域分布存在差异,则传统机器学习的性能将会大大降低,故领域自适应学习得以提出,其目标是在领域间建立桥梁,提高测试域预测性能,并广泛应用于解决现实世界中的分类、回归、概率密度估计等机器学习问题。目前,许多国内外专家学者对领域适应学习进行了深入的研究,并获得了许多重要的研究成果,且广泛应用于实际生产中,但仍有许多问题需要进一步的探索和研究。本课题主要从概率密度估计、支持向量域描述、分类、回归等4个方面进行深入的领域自适应学习研究。主要内容如下: 1、基于最小包含球的领域自适应学习。相同应用领域,不同时间、地点或设备检测到的数据域不一定完整。针对如何进行源域与目标域间知识传递的问题,在支持向量域描述、分类与回归等问题在数学模型上均可等价于中心约束最小包含球的前提下,首次提出相似领域的概率密度差可由两域最小包含球中心点表示,且其上限值与半径无关的定理。基于此定理,提出一种新颖的领域自适应算法,算法中心思想是先将各算法的数学模型转换成其各自等价的最小包含球模型,再利用源域最小包含球中心点对目标域最小包含球中心点进行校正,从而提高目标域机器学习的性能。这种传递中心点,即源域知识的领域自适应算法具有源域数据隐私保护的优点,且新算法仍等价于中心约束最小包含球的理论证明,使所提算法可利用核心集技术解决大规模数据集问题。实验结果表明,这种领域自适应算法可弥补目标域缺失数据的不足,大大提高算法性能。 2、基于SVM的领域间迁移学习算法。当与某领域相关的新领域出现时,标注这个新领域样本可能代价昂贵,而丢弃所有旧领域数据又显得十分浪费。故提出基于SVM算法的迁移学习新算法TL-SVM,其主要思想是SVM分类器由(w,b)组成,若两领域相关,则两域分类器各自的w值应相近,通过训练目标域少量已标签数据和学习源领域的知识w s来为目标域构建一个高质量的分类模型,实现领域间的知识迁移学习。该方法继承了基于经验风险最小化的最大间隔SVM的优点,又弥补了传统SVM不能进行知识迁移的缺陷。 将上述理论成果进一步应用于基于密度差(Difference Of Density, DOD)思想的L2核分类器。L2核分类器算法具有良好的分类性能及稀疏性,然而其训练域与测试域独立同分布的假设限制了其应用范围。针对此不足,在L2核分类器的数学模型等价于变形SVM的理论前提下,对其等价的变形SVM进行知识迁移学习,提出具有领域间迁移学习能力的L2核分类器,该算法既保持了L2核分类器算法良好的分类性能,又能处理数据集缓慢变化及训练集在特定约束条件下获得导致训练集和未来测试集分布不一致的问题。 3、基于浓缩集概率密度估计(Reduced set density estimation, RSDE)算法的领域自适应学习。RSDE算法是一种基于核的密度估计器,它仅使用数据样本中的一小部分的线性组合来表示概率密度估计式,与传统Parzen Window概率密度估计法相比,极大降低计算复杂度的同时实现了数据浓缩的目的,但该算法必须满足训练集与测试集独立同分布条件。本文提出一种新颖的基于RSDE算法的领域自适应概率密度估计方法A-RSDE,通过学习源域(训练域)概率密度函数p (x;θ1),使目标域(测试域)概率密度估计函数q (x;θ2)最优逼近真实密度函数q(x)的同时,与源域概率密度函数p (x;θ1)也最优逼近,达到领域自适应学习目的;并用基于近似最小包含球的核心集快速算法求解A-RSDE,将其应用于大数据集密度估计。 上述概率密度函数均可看作密度估计线性组合空间上的概率密度估计式,在此基础上进一步提出密度估计线性组合空间概念,指出若需求线性组合空间内的密度估计函数,可由高斯函数为基函数的线性组合在ISE标准下逼近,并进一步提出密度估计线性组合空间的近似框架。该框架的优势在于可直接对概率密度线性组合函数进行估计而不必依次估计各域的密度函数,与传统概率密度估计法相比具有更好地精度;其参与运算的数据规模为l,l值远小于样本总数,适用于大规模数据集;该框架可应用于分类、数据浓缩、随机变量间的独立性检测、回归模型变量选择、条件概率密度估计等;若使该线性组合空间逼近某已知空间,可用于源域与目标域近似度估计,适用于多源领域自适应学习。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 陈凤鸣;;基于网络的自适应学习系统研究[J];计算机光盘软件与应用;2013年21期
2 张荣华;徐春成;;自适应学习的网络课程内容设计探究[J];中国现代教育装备;2005年09期
3 黄伯平;赵蔚;余延冬;;自适应学习系统参考模型比较分析研究[J];中国电化教育;2009年08期
4 何可佳;;基于概率的自适应学习预测策略[J];计算机工程;2010年10期
5 袁竞;周彩英;;网络环境下自适应学习系统的内涵探究[J];太原师范学院学报(社会科学版);2010年02期
6 张舸;周东岱;葛情情;;自适应学习系统中学习者特征模型及建模方法述评[J];现代教育技术;2012年05期
7 李伟生;王冬;;改进自适应学习树电源管理预测策略[J];计算机工程与设计;2013年01期
8 刘建伟;孙正康;罗雄麟;;域自适应学习研究进展[J];自动化学报;2014年08期
9 李华群;张俊珍;廖冬妮;黄庭松;;独立学院计算机基础课自适应学习的对策研究[J];教育前沿(理论版);2007年06期
10 石晓荣,王青,张明廉,毕静;基于多传感器数据融合的机动目标跟踪自适应学习方法[J];系统仿真学报;2002年05期
11 罗钧旻;许妍;;基于本体的虚拟自适应学习系统研究[J];科技信息;2009年26期
12 姜强;赵蔚;;面向“服务”视角的自适应学习系统设计与实现[J];中国电化教育;2011年02期
13 陆峰;;基于因子分析的自适应学习平台算法研究[J];长江大学学报(自然科学版);2011年04期
14 刘桓;曹红菊;;自适应学习系统的研究与设计[J];软件导刊;2006年06期
15 吴飞燕;;基于WebQuest的自适应学习设计研究[J];中国教育信息化;2012年03期
16 李一波,张溶溶;试题得分概率和答题时间概率分布自适应学习整定[J];计算机工程与应用;2005年17期
17 曹伟;吴洲;;自适应学习模型在智能教学系统中的应用研究[J];软件导刊;2009年01期
18 沈凤仙;朱巧明;;基于自适应学习的文本信息过滤系统[J];计算机应用与软件;2010年01期
19 岳莎;乜勇;;关于电子书包内容建设的构思[J];中国医学教育技术;2013年06期
20 李一波,张森悦;试题库试题难度系数自适应学习整定[J];计算机工程;2005年12期
中国重要会议论文全文数据库 前3条
1 朱新明;李亦菲;;人的自适应学习——示例学习的理论与实践[A];第八届全国心理学学术会议文摘选集[C];1997年
2 文赛平;朱珍民;叶剑;;带反馈的模糊Petri网自适应学习[A];第六届和谐人机环境联合学术会议(HHME2010)、第19届全国多媒体学术会议(NCMT2010)、第6届全国人机交互学术会议(CHCI2010)、第5届全国普适计算学术会议(PCC2010)论文集[C];2010年
3 白金兰;李东辉;王国栋;刘相华;;冷轧过程控制工艺模型自适应学习[A];第十一届全国自动化应用技术学术交流会论文集[C];2006年
中国博士学位论文全文数据库 前5条
1 姜强;自适应学习系统支持模型与实现机制研究[D];东北师范大学;2012年
2 欧阳杨;教育语义网中基于本体的自适应学习系统建模[D];浙江大学;2008年
3 刘志勇;基于本体的自适应学习方法及应用研究[D];吉林大学;2010年
4 于淼;复杂非线性系统的自适应学习控制[D];浙江大学;2012年
5 许敏;领域自适应学习算法及其应用研究[D];江南大学;2014年
中国硕士学位论文全文数据库 前10条
1 沈孝山;自适应学习平台的设计与开发[D];华东师范大学;2006年
2 刘昌明;自适应学习系统中个性化学习方案的制定[D];东北师范大学;2010年
3 贾冰;自适应学习系统中学习者模型的表示及特征值获取方法研究[D];东北师范大学;2010年
4 汤文彬;在自适应学习系统中应用序列挖掘技术实现智能导航[D];东北师范大学;2010年
5 高晓红;基于网络的自适应学习系统研究[D];上海师范大学;2003年
6 李斯萌;自适应学习系统设计模型相关研究[D];吉林大学;2014年
7 梁济瀚;基于自适应学习系统的序列挖掘算法的研究[D];吉林大学;2008年
8 王新勇;自适应学习系统中序列挖掘算法研究[D];东北师范大学;2008年
9 赵晓航;自适应学习系统中学习风格模型的研究[D];东北师范大学;2010年
10 张赛男;基于语义网的自适应学习系统中学生认知风格模型的设计[D];东北师范大学;2007年
中国重要报纸全文数据库 前3条
1 李亦菲;实验自适应学习的支持系统[N];中国教育报;2004年
2 李亦菲;自适应学习对启发式的超越[N];中国教育报;2004年
3 李亦菲;自适应学习有哪些基本概念[N];中国教育报;2003年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978