收藏本站
《中国科学技术大学》 2012年
收藏 | 手机打开
二维码
手机客户端打开本文

统计学习理论中基于核的算法研究

冯云龙  
【摘要】:在信息时代的今天,统计学习理论在诸如自然科学,工程以及金融等各个领域发挥着愈来愈重要的作用。作为一个研究领域,它为机器学习算法提供理论支持。广义地说,统计学习的目的是从样本中学习函数结构或者数据的内在结构。通过引入核方法,数据被映射到高维的特征空间中,进而可以应用各种方法来研究其内在的联系。本论文中,我们主要在统计学习理论的框架下,讨论几种不同的基于核的统计学习理论算法。 首先,我们研究了在样本具有依赖关系情形下的q-范数正则化最小二乘回归算法。针对样本序列呈现弱相互依赖关系并且满足α-混合条件以及惩罚项为q-范数正则化子的情形,我们对于最小二乘正则化回归算法给出了比较精细的误差分析。这里我们考虑的q的取值范围为(0,2]。通过运用覆盖数来衡量空间复杂度,我们以a-混合条件,逼近误差的假设以及再生核希尔伯特空间的方式给出了学习理论的阶。 其次,我们讨论了系数正则化的回归算法。我们研究了在依赖于样本的假设空间里,lq-正则化最小二乘回归算法的统计学习表现,此处1≤q≤2。一般来说,依赖于样本的假设空间中的算法往往表现出更多的灵活性。通过运用Steping Stone的研究技巧,我们给出了一个统一的误差分析方法。其中,为了提高采样误差的阶,我们引入了经验覆盖数来衡量假设空间的复杂度。同以往结果相比,我们得到了更好的研究结果。具体来说主要体现在以下几个方面:一,在适定的条件下我们得到了明显较为快速的学习理论阶。更具体地说,我们所得到的范化误差的收链阶是O(m-θ)类型的收敛阶,其中θ可以充分接近于1,这在统计学习理论中被认为是最优的;二,我们的结果对于q=1时的情形同样成立;三,同以往结果相比,我们是在更弱的条件下得到上述更强的结论。 最后,我们考虑了基于核的成对排序算法。对于成对排序问题,我们首先分别比较了几种不同的研究模型。在本文中,我们所采用的是一种基于选择的两阶段排序模型。但是相比较于以往的基于选择的两阶段排序模型而言,我们所采用的模型又是有所不同的。这种不同主要体现在所采用的采样方式的不同。在排序过程的第一个阶段,我们首先通过把排序问题转化为分类问题来学习-个选择函数。在这一阶段,通过由排序问题到分类问题的转化,我们还可以推导出一些常见的学习结果如范化能力等。对于排序过程的第二个阶段,为了得到一个记分函数,我们设计了一个相应的优化算法。
【学位授予单位】:中国科学技术大学
【学位级别】:博士
【学位授予年份】:2012
【分类号】:O241.5;O212.1

【共引文献】
中国期刊全文数据库 前10条
1 鹿卫国,戴亚平,涂序彦,高峰;适用于加权样本集处理的加权支持向量机方法[J];北京理工大学学报;2005年03期
2 ;ERROR ANALYSIS OF MULTICATEGORY SUPPORT VECTOR MACHINE CLASSIFIERS[J];Analysis in Theory and Applications;2010年02期
3 章林柯;崔立林;;潜艇机械噪声源分类识别的小样本研究思想及相关算法评述[J];船舶力学;2011年08期
4 贾世杰;孔祥维;;一种新的直方图核函数及在图像分类中的应用[J];电子与信息学报;2011年07期
5 张贵生;王平;;基于不变性常识的支持向量分类机[J];硅谷;2010年10期
6 ;Learning from regularized regression algorithms with p-order Markov chain sampling[J];Applied Mathematics:A Journal of Chinese Universities(Series B);2011年03期
7 ;Learning rates of least-square regularized regression with polynomial kernels[J];Science in China(Series A:Mathematics);2009年04期
8 ;Generalization performance of graph-based semisupervised classification[J];Science in China(Series A:Mathematics);2009年11期
9 李秉政;王国卯;;多项式核最小二乘正则化回归的逼近阶[J];中国科学(A辑:数学);2008年09期
10 ;Estimation of convergence rate for multi-regression learning algorithm[J];Science China(Information Sciences);2012年03期
中国博士学位论文全文数据库 前10条
1 吕绍高;统计学习中回归与正则化谱聚类算法的研究[D];中国科学技术大学;2011年
2 胡运红;支持向量机的若干算法研究[D];山东科技大学;2011年
3 金卓军;逆向增强学习和示教学习算法研究及其在智能机器人中的应用[D];浙江大学;2011年
4 严志永;在划分数据空间的视角下基于决策边界的分类器研究[D];浙江大学;2011年
5 古红英;基于统计学习理论的虹膜识别研究[D];浙江大学;2005年
6 朱嘉钢;SVR的鲁棒性及其在图像恢复中的应用研究[D];南京理工大学;2005年
7 任双桥;支撑矢量机理论与应用研究[D];国防科学技术大学;2006年
8 刘惠;蛋白质序列数据的分类预测研究[D];上海交通大学;2007年
9 王坚;语音识别中的说话人自适应研究[D];北京邮电大学;2007年
10 叶桂波;黎曼流形上的学习理论—在线分类和多核算法[D];复旦大学;2007年
中国硕士学位论文全文数据库 前10条
1 李玉坤;n维单形上带有多项式核最小二乘正则化算法的逼近阶[D];浙江大学;2010年
2 刘丽;基于脉冲耦合神经网络和单类支持向量机的纹理检索[D];兰州大学;2011年
3 蔡正;两种新的人脸识别方法[D];广东工业大学;2011年
4 冯李哲;关于系数正则化模型的误差分析[D];杭州师范大学;2011年
5 张际雄;正则化回归算法学习速度的一种估计[D];杭州师范大学;2011年
6 刘萍;多核正则化算法及相关问题[D];济南大学;2011年
7 郭芹;基于弱相关抽样的正则化学习算法的一致性分析[D];济南大学;2011年
8 方子亭;基于基元空间的非线性系统控制方法研究[D];武汉科技大学;2011年
9 门昌骞;基于凸包估计的SVM核参数选择方法研究[D];山西大学;2006年
10 陈荣淋;基于可拓学和支持向量机理论的砂土液化势综合评价研究[D];华侨大学;2006年
【相似文献】
中国期刊全文数据库 前10条
1 陈青;王鹏鸣;;基于支持向量机的垃圾邮件过滤分析与实现[J];科技广场;2008年03期
2 范秋凤;陈彦涛;;支持向量机及其应用研究[J];科技信息;2009年29期
3 李钧涛;杨瑞峰;左红亮;;统计机器学习研究[J];河南师范大学学报(自然科学版);2010年06期
4 张耀波,张迁;基于SVM的遥感影像的分类[J];地理空间信息;2005年04期
5 吕刚,吴朝晖,杨莹春;支持向量机的聚类补偿研究[J];广西师范大学学报(自然科学版);2003年01期
6 梅松,程伟平,刘国华;基于支持向量机的洪水预报模型初探[J];中国农村水利水电;2005年03期
7 胡国胜;支持向量机算法及应用[J];现代电子技术;2005年03期
8 王炜,刘悦,李国正,吴耿锋,林命周,马钦忠,赵利飞;中国大陆强震时间序列预测的支持向量机方法[J];地震;2005年04期
9 张根明;向晓骥;;基于支持向量机的上市公司财务预警模型研究[J];科技管理研究;2007年04期
10 王庆兰;;统计学习理论[J];唐山师范学院学报;2007年05期
中国重要会议论文全文数据库 前10条
1 宋普云;沈雪勤;吴清;;一种改进的SMO算法[A];第六届全国计算机应用联合学术会议论文集[C];2002年
2 吴峰;;企业数字化学习的十个研究主题(英文)[A];北京论坛(2011)文明的和谐与共同繁荣--传统与现代、变革与转型:“教育传承与创新”教育分论坛论文及摘要集[C];2011年
3 ;Organizational learning,environmental uncertainty,and temporal capabilities[A];第六届(2011)中国管理学年会论文摘要集[C];2011年
4 张钹;张铃;;统计学习理论及其应用[A];2001年中国智能自动化会议论文集(上册)[C];2001年
5 张国宣;孔锐;施泽生;郭立;;一种新的基于聚类的SVM迭代算法[A];第二届全国信息获取与处理学术会议论文集[C];2004年
6 ;Multi-model Self-learning Control for Turbine Valving Control[A];第二十六届中国控制会议论文集[C];2007年
7 ;Convergence Analysis in the Sense of Lebesgue-p Norm for Open-Closed-Loop Iterative Learning Control[A];第二十六届中国控制会议论文集[C];2007年
8 孙向东;黄日波;;运用SVMs原理预测蛋白质二级结构研究[A];广西微生物学会2003年学术年会论文集[C];2003年
9 刘斌;魏贤龙;李卓;;基于支持向量机的Widrow自适应滤波器[A];2006中国控制与决策学术年会论文集[C];2006年
10 ;Persistency of Excitation and Performance of Deterministic Learning[A];中国自动化学会控制理论专业委员会D卷[C];2011年
中国重要报纸全文数据库 前10条
1 本报记者 解艳华;E—learning:期待领军企业的出现[N];人民政协报;2010年
2 本报记者 解艳华;E_learning,新技术带来的“学习革命”[N];人民政协报;2011年
3 郭彦;E——Learning:引发教育领域新革命[N];中国高新技术产业导报;2000年
4 ;E-Learning:引发教育领域新革命[N];科技日报;2000年
5 文才;教育领域新革命[N];市场报;2000年
6 本报记者 王继晟;E-Learning———助推企业培训革命[N];市场报;2002年
7 吴超;e-Learning企业国际化之路[N];大众科技报;2002年
8 李俊;在线培训[N];华北电力报;2002年
9 本报记者 武汉;给e-Learning优先级[N];网络世界;2001年
10 中国社科院互联网发展研究中心主任 吕本富;e-Learning:这个e里有黄金[N];中国经营报;2001年
中国博士学位论文全文数据库 前10条
1 冯云龙;统计学习理论中基于核的算法研究[D];中国科学技术大学;2012年
2 殷志伟;基于统计学习理论的分类方法研究[D];哈尔滨工程大学;2009年
3 王承;无界抽样的ERM与LS-正则化学习[D];武汉大学;2010年
4 周绮凤;基于支持向量机的若干分类问题研究[D];厦门大学;2007年
5 徐海祥;基于支持向量机方法的图像分割与目标分类[D];华中科技大学;2005年
6 李忠伟;支持向量机学习算法研究[D];哈尔滨工程大学;2006年
7 武国正;支持向量机在湖泊富营养化评价及水质预测中的应用研究[D];内蒙古农业大学;2008年
8 尚福华;基于统计学习的油藏水淹层的识别技术[D];哈尔滨工业大学;2007年
9 孙宗海;支持向量机及其在控制中的应用研究[D];浙江大学;2003年
10 唐发明;基于统计学习理论的支持向量机算法研究[D];华中科技大学;2005年
中国硕士学位论文全文数据库 前10条
1 滕文凯;支持向量机反问题及其解法[D];河北大学;2005年
2 杜晓东;基于支持向量机的数据挖掘方法[D];山东大学;2005年
3 王李东;基于支持向量机(SVM)的短期负荷预测的研究[D];华中科技大学;2005年
4 郭得令;基于LS-SVM的围岩位移非线性预测应用研究[D];武汉理工大学;2006年
5 詹超;支持向量机在基因表达数据分类中的研究[D];武汉理工大学;2006年
6 马洁;基于支持向量机的股市预测问题研究[D];天津大学;2006年
7 高异;基于支持向量机的非线性系统建模与控制[D];西安理工大学;2006年
8 邓小文;基于SVM的柴油机机械故障诊断研究[D];厦门大学;2006年
9 王忠文;统计学习理论及其在地学中的应用研究[D];吉林大学;2007年
10 蒋琳琼;基于支持向量机的货币识别研究[D];中南大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026