收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于核的正则化学习算法

肖铨武  
【摘要】: 学习理论是机器学习算法的数学基础.它在许多科学技术领域中都有着重要的应用.在这篇论文中,我们主要考虑基于核的正则化学习算法.像支持向量机这样采用凸损失函数和再生核希尔伯特空间的Tikhonov正则化方法已在文献中有较多的研究;而本文中我们将引入一些非标准的框架,并对新框架下的算法作深入的分析. 首先,我们将讨论带有e~1正则项的回归算法.这一算法的假设空间是依赖于数据样本的,并且可以使用非对称的核函数.样本相关的假设空间将为误差分析带来一项额外的假设误差,这一点与通常情况下样本无关的假设空间有本质的区别.在对正则化误差、样本误差和假设误差分别进行估计之后,我们得到了误差的完整估计,这一误差与核函数的性质、输入空间、边缘分布密度、以及回归问题的回归函数有关.在选定合适的正则化参数之后,我们获得了学习算法的学习率.在核函数为欧氏空间上的高阶光滑函数时,e~1正则化算法的学习率还可以进一步改进. 其次,我们分析了从非一致概率测度中抽样的二分类问题.这里的主要目标是要对分类器的额外分类误差给出令人满意的估计,而我们的结果表明非一致抽样与独立同分布抽样的情形是类似的.同时,通过一个关于多分类器误差分析的比较定理,我们还可以对多分类问题作出误差估计. 最后,我们考虑了e~1正则化方法带来的稀疏性,这一问题最近引起了研究人员的广泛注意.这里,我们在理论和应用方面都给出了一些讨论,以供将来进一步研究.


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 张海;徐宗本;;学习理论综述(I):稳定性与泛化性[J];工程数学学报;2008年01期
2 陈将宏;;基于核方法的分类算法比较研究[J];甘肃联合大学学报(自然科学版);2009年06期
3 徐宗本;张永全;曹飞龙;;多元回归学习算法收敛速度的估计[J];中国科学:信息科学;2011年02期
4 顾磊;吴慧中;肖亮;;基于新的决策规则的球形支持向量机分类算法[J];系统仿真学报;2008年11期
5 周欣然;滕召胜;蒋星军;;稀疏在线无偏置最小二乘支持向量机的预测控制[J];电子测量与仪器学报;2011年04期
6 孙永军;易克初;;利用核方法的直扩系统多个窄带干扰抑制[J];西安电子科技大学学报;2007年04期
7 王庆军;张汝波;楼宋江;吕海燕;;一种核正交局部敏感辨别分析算法[J];小型微型计算机系统;2009年11期
8 罗远胜,王明文,曾雪强;基于核方法的潜在语义文本分类模型[J];清华大学学报(自然科学版);2005年S1期
9 黄石生;王正明;王卫威;;基于正则模型的SAR图像自适应目标特征增强方法[J];数据采集与处理;2009年03期
10 詹宇斌;殷建平;刘新旺;;局部切空间对齐算法的核主成分分析解释[J];计算机工程与科学;2010年06期
11 田永军,陈松灿;面向矩阵模式的正则化Ho-Kashyap算法[J];计算机研究与发展;2005年09期
12 赵侠;王正明;汪雄良;段晓君;;基于l~k范数的正则化方法及其在SAR图像处理中的应用[J];信号处理;2006年02期
13 万海平;何华灿;周延泉;;局部核方法及其应用[J];山东大学学报(理学版);2006年03期
14 汪雄良;王正明;;基于l_k范数正则化的SAR图像目标特征增强[J];电子与信息学报;2006年09期
15 汪廷华;陈峻婷;;核函数的度量研究进展[J];计算机应用研究;2011年01期
16 江洁;邓琼;张广军;;基于小波变换的正则化盲图像复原算法[J];光学精密工程;2007年04期
17 王强;;现代教育技术与素质教育[J];甘肃教育;2008年13期
18 王建民;;图书馆利用指导与加涅的学习理论[J];大学图书馆学报;1983年10期
19 马闻理;;唤起学习理论的热情——阅“恩格斯新闻思想和实践测试”答卷有感[J];新闻战线;1985年12期
20 钱兆华,齐忠涛,王晓东;带限信号高频重建的一种新的正则外推算法[J];电子学报;1996年07期
中国重要会议论文全文数据库 前10条
1 乔栋贤;;学习理论及学习过程中的现象对化学学习的启示[A];中国化学会第三届关注中国西部地区中学化学教学发展论坛论文集[C];2011年
2 党建武;张彩珍;张全新;;基于神经网络的列车自动运行控制系统研究[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
3 高协平;;关于BP神经网络用于求解二次规划[A];1999中国控制与决策学术年会论文集[C];1999年
4 汪小帆;宋文忠;;高阶连续时间随机神经网络学习算法研究[A];1995年中国控制会议论文集(下)[C];1995年
5 仲自勉;翟军;陈宝树;李连根;;充分利用样本信息的神经元模型[A];1997中国控制与决策学术年会论文集[C];1997年
6 李海岭;罗先启;葛修润;;自递归神经网络预测结构响应[A];新世纪岩石力学与工程的开拓和发展——中国岩石力学与工程学会第六次学术大会论文集[C];2000年
7 段培永;邵惠鹤;;基于广义基函数的CMAC神经网络的一种改进学习算法[A];1998中国控制与决策学术年会论文集[C];1998年
8 覃祖旭;张洪钺;;基于神经网络的非线性状态观测器研究[A];1995年中国控制会议论文集(上)[C];1995年
9 李鸿儒;邓长辉;顾树生;温馨;;递归神经网络快速学习算法的研究[A];2000中国控制与决策学术年会论文集[C];2000年
10 李明;杨成梧;;PID神经网络的改进PSO学习算法[A];第25届中国控制会议论文集(中册)[C];2006年
中国博士学位论文全文数据库 前10条
1 肖铨武;基于核的正则化学习算法[D];中国科学技术大学;2009年
2 叶桂波;黎曼流形上的学习理论—在线分类和多核算法[D];复旦大学;2007年
3 赵凌潇;基于流形的半监督分类方法研究[D];浙江大学;2009年
4 渐令;基于核的学习算法与应用[D];大连理工大学;2012年
5 潘志伟;统计学习算法:多分类及非独立同分布抽样下的回归[D];中国科学技术大学;2009年
6 陈宇;若干反问题模型的数值求解[D];上海交通大学;2009年
7 林智勇;基于核方法的不平衡数据学习[D];华南理工大学;2009年
8 钱志;数学物理反问题的正则化[D];兰州大学;2008年
9 谷瑞军;基于流形学习的高维空间分类器研究[D];江南大学;2008年
10 史志伟;混沌时间序列预测与储备池机器学习方法研究[D];大连理工大学;2008年
中国硕士学位论文全文数据库 前10条
1 钟珊;建构主义学习理论在高中英语写作教学中的运用[D];华中师范大学;2004年
2 吴波;高一物理多媒体课件的开发探究[D];贵州师范大学;2005年
3 朱世根;学习理论在教学网页设计中的应用研究[D];江西师范大学;2005年
4 何卫红;基于主题地图的语文教育信息资源组织方法研究[D];湖南师范大学;2005年
5 李志平;教育学视角下的竞赛数学学与教问题研究[D];湖南师范大学;2006年
6 姚锐;关于技术与学习理论互动关系的研究[D];广西师范大学;2007年
7 莫永华;以人类分层传播模式探讨学习理论中的客观主义与建构主义的整合[D];西南大学;2008年
8 马胜祥;非平衡数据下的核方法分类研究[D];复旦大学;2009年
9 曾雪梅;大连理工大学四级后口语课程设计[D];大连理工大学;2006年
10 赵英侠;基于探究式学习的物理仿真实验室的设计[D];湖南大学;2007年
中国重要报纸全文数据库 前10条
1 ;《学习理论文库》出版33位专家学者自选集[N];人民日报;2007年
2 史胜林 夏洪涛;8670部队激发基层学习理论主动性[N];人民武警;2006年
3 本报评论员;让新的学习理论成为响亮追求[N];中国文化报;2003年
4 本报记者 张震;认真学习理论 提高执政能力[N];贵阳日报;2007年
5 记者 陈永辉;学习理论 改进作风 加强组织 完善制度 增强能力[N];人民法院报;2005年
6 李羚;学习理论 传播思想[N];厂长经理日报;2001年
7 ;集中展示新时期理论建设的辉煌成就[N];人民日报;2007年
8 记者 赖晓莉;学习理论 探讨规律 务实创新推进政协工作[N];成都日报;2006年
9 教育部邓小平理论和“三个代表”重要思想研究中心执笔:张剑 郭宇光;一幅哲学社会科学繁荣发展的壮美画卷[N];人民日报;2007年
10 宋冰冰 李岩;荟萃理论成果 再塑出版品牌[N];中国新闻出版报;2007年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978