收藏本站
《山东师范大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

基于核函数的集成学习算法研究与应用

康凯  
【摘要】: 集成学习(Ensemble Learning)是为某个问题训练一组学习器,并将这些学习器联合起来执行一定预测任务的一种机器学习技术。由于该技术能够显著地提高学习系统的泛化能力,受到很多学者的极大关注,并且很快成为了机器学习研究中的一个热点。集成学习技术已经广泛的应用于生物认证、传感器故障容错、字符识别、辐射源识别、语言学、医学、交通、管理学等各个领域。 集成学习旨在充分利用每个成员学习器的不同优势,提高整体的泛化性能。现在一般认为,有效地产生泛化能力强、差异大的多个成员学习器,是集成学习算法的关键。传统集成学习算法不能充分利用数据集和成员学习器的特点提高成员学习器的多样性,主要表现在两个方面:第一,在对数据集进行采样时,没有充分利用局部空间的不同特性;第二,在学习器的训练过程中,没有很好的利用过程信息。近年来一些学者将核函数应用到集成学习中,取得了良好的效果。本文的研究目标是将核函数充分地应用到集成学习中,解决传统集成学习算法存在的这两个问题,在保证单个学习器高性能的前提下,实现成员学习器的多样性。 具体来说,本文开展并完成了以下方面的工作: (1)简要介绍了集成学习的起源和基本概念;介绍了集成学习中具有代表性的算法Boosting、Bagging和Stacking的基本思想和理论证明;介绍了当前集成学习中的新思想-选择性集成学习;介绍了核函数的历史、基本思想和理论基础。 (2)提出了一种基于核函数分割数据集的分类器组合算法(Ensemble Classifiers Algorithm based on Kernel Dataset Partition, KFMCE)。该算法利用基于核的模糊隶属度将原始空间依据局部特征的不同进行分解,然后分别进行有针对性的训练,获得局部性能最优的成员学习器,最后进行集成来提高整体的性能。基于核的模糊隶属度是对基于距离隶属度的扩展,它在映射后的高维空间中求解样本的隶属度,消除了数据集在表征数据分布上的偏差。以机器学习Weka软件为平台在20个不同的UCI数据集上进行实验,结果表明,该算法与AdaBoost和Bagging算法相比,具有更高的分类准确性和更好的泛化能力。 (3)提出了一种动态协作的聚类集成算法(Clusterer Ensemble Algorithm Based on Dynamic Cooperation ,DCCE)。该算法同时训练多个基本聚类器,在训练期间,令所有聚类器通过迭代过程中产生的中间信息进行动态协作调整,从而提高集成聚类器的泛化性能和计算效率。协作过程中,算法使用基于核函数的共识函数对多个聚类器的中间结果进行共识,并利用冲量项对中间结果进行调整,达到聚类学习器之间相互协作的目的,完成对基本聚类器的多样性的控制。DCCE算法在15个不同的UCI数据集上进行实验,结果表明该算法具有更高聚类能力。 (4)将KFMCE算法应用于文本分类,选择20Newsgroup作为文本数据集进行实验,结果表明该算法在文本分类方面具有良好的效果。
【学位授予单位】:山东师范大学
【学位级别】:硕士
【学位授予年份】:2009
【分类号】:TP391.41

手机知网App
【引证文献】
中国硕士学位论文全文数据库 前2条
1 遇铁龄;基于核函数的多分类器集成及应用研究[D];山东师范大学;2011年
2 窦蓉蓉;基于集成学习的人脸识别算法研究及应用[D];安徽大学;2010年
【参考文献】
中国期刊全文数据库 前1条
1 刁力力 ,胡可云 ,陆玉昌 ,石纯一;用Boosting方法组合增强Stumps进行文本分类(英文)[J];软件学报;2002年08期
中国博士学位论文全文数据库 前1条
1 陈晓云;文本挖掘若干关键技术研究[D];复旦大学;2005年
【共引文献】
中国期刊全文数据库 前10条
1 潘希姣;;多子群粒子群集成神经网络[J];安徽建筑工业学院学报(自然科学版);2007年02期
2 李亭;杨敬锋;彭晓琴;陈志民;;基于最大似然法集成的黄曲条跳甲预警模型[J];安徽农业科学;2008年25期
3 时雷;虎晓红;席磊;段其国;;集成学习技术在农业中的应用[J];安徽农业科学;2008年26期
4 林正奎;唐焕玲;鲁明羽;王敬东;;基于特征多视图提升Naive Bayesian的Boosting改进算法[J];北京交通大学学报;2009年06期
5 张海;王尧;陈冰;胡荣祖;高红旭;赵凤起;;用Boosting算法预测多硝基芳香族化合物的密度[J];火炸药学报;2007年05期
6 张海;丁毅涛;王尧;胡荣祖;高红旭;赵凤起;;自适应梯度Boosting算法及多硝基芳香族化合物密度的主因子选择[J];火炸药学报;2011年02期
7 李文斌;刘椿年;钟宁;;基于两阶段集成学习的分类器集成[J];北京工业大学学报;2010年03期
8 蒋宗礼;徐学可;;一种基于集成学习与类指示器的文本分类方法[J];北京工业大学学报;2010年04期
9 李飞;高小榕;高上凯;;基于随机森林算法的高维脑电特征优选[J];北京生物医学工程;2007年04期
10 李勇,王建波;分类回归树中分裂法则的相合性质[J];北京师范大学学报(自然科学版);2002年01期
中国重要会议论文全文数据库 前10条
1 叶红云;倪志伟;陈恩红;;一种混合型集成学习演化决策树算法[A];2005年“数字安徽”博士科技论坛论文集[C];2005年
2 ;Predictive Control Based on Multi-network for a Deep Seabed Mining Robot Vehicle[A];中国自动化学会控制理论专业委员会A卷[C];2011年
3 杜方键;杨宏晖;;K均值聚类优化集成学习[A];2011'中国西部声学学术交流会论文集[C];2011年
4 杜晓凤;丁友东;;FloatBag选择性神经网络集成及其在人脸检测中的应用[A];第十二届全国信号处理学术年会(CCSP-2005)论文集[C];2005年
5 陈华杰;韦巍;;一种基于元泛化的Bagged Boosting算法[A];2005中国控制与决策学术年会论文集(上)[C];2005年
6 ;Nave Bayes Ensemble Learning Based on Oracle Selection[A];2009中国控制与决策会议论文集(1)[C];2009年
7 ;Adaptive multi-LSSVR based soft sensing for cobalt oxalate synthesis process[A];Proceedings of the 2011 Chinese Control and Decision Conference(CCDC)[C];2011年
8 ;Multiple ANNs Combined Scheme for Fault Diagnosis of Power Transformers[A];Proceedings of the 2011 Chinese Control and Decision Conference(CCDC)[C];2011年
9 陈峰;桂卫华;王随平;韩晓英;;深海底履带机器车的多神经网络预测控制[A];第二十三届中国控制会议论文集(下册)[C];2004年
10 师凯;蔡延光;邹谷山;王涛;;蚁群算法及粒子群算法对比及在VRP中的应用[A];第二十四届中国控制会议论文集(下册)[C];2005年
中国博士学位论文全文数据库 前10条
1 于化龙;基于DNA微阵列数据的癌症分类技术研究[D];哈尔滨工程大学;2010年
2 李建平;面向异构数据源的网络安全态势感知模型与方法研究[D];哈尔滨工程大学;2010年
3 邬俊;基于交互式语义推理的图像检索算法研究[D];大连海事大学;2010年
4 邓斌;B2C在线评论中的客户知识管理研究[D];电子科技大学;2010年
5 苏煜;基于SCF范式的在线P300脑机接口研究[D];浙江大学;2010年
6 杜方;复杂网络系统间相似性识别及其应用[D];浙江大学;2010年
7 甘良志;核学习算法与集成方法研究[D];浙江大学;2010年
8 杨国鹏;基于机器学习方法的高光谱影像分类研究[D];解放军信息工程大学;2010年
9 闫中敏;Deep Web数据获取问题研究[D];山东大学;2010年
10 徐迪红;复杂背景下的交通标志检测和分类算法研究[D];武汉大学;2010年
中国硕士学位论文全文数据库 前10条
1 马冉冉;集成学习算法研究[D];山东科技大学;2010年
2 王萍;语音情感识别研究[D];山东科技大学;2010年
3 吕万里;中文文本分类技术研究[D];山东科技大学;2010年
4 朱耿峰;支持向量机在冲击地压预测模型中的应用研究[D];山东科技大学;2010年
5 江达秀;基于HMAX模型的人脸表情识别研究[D];浙江理工大学;2010年
6 石国强;基于规则的组合分类器的研究[D];郑州大学;2010年
7 陈松峰;利用PCA和AdaBoost建立基于贝叶斯的组合分类器[D];郑州大学;2010年
8 吴正娟;特征变换在组合分类中的应用研究[D];郑州大学;2010年
9 曹彦;基于支持向量机的特征选择及其集成方法的研究[D];郑州大学;2010年
10 周驰;数据流上概念漂移的检测和分类[D];郑州大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 张国英,沙芸,刘玉树;模式识别中基于Boosting的特征筛选[J];北京理工大学学报;2004年07期
2 朱树先;张仁杰;郑刚;;混合核函数对支持向量机分类性能的改进[J];上海理工大学学报;2009年02期
3 陈启泉,邱文宇,陈维斌;标准正面人脸图象的特征提取[J];华侨大学学报(自然科学版);2000年04期
4 李凯;黄厚宽;;小规模数据集的神经网络集成算法研究[J];计算机研究与发展;2006年07期
5 金忠,胡钟山,杨静宇;基于BP神经网络的人脸识别方法[J];计算机研究与发展;1999年03期
6 王华忠;俞金寿;;核函数方法及其模型选择[J];江南大学学报;2006年04期
7 沈学华,周志华,吴建鑫,陈兆乾;Boosting和Bagging综述[J];计算机工程与应用;2000年12期
8 薛欣;贺国平;;基于多个混合核函数的SVM决策树算法设计[J];计算机工程与应用;2007年08期
9 史操;许灿辉;杨家红;;基于规范化KDDA的人脸识别[J];计算机工程与应用;2007年09期
10 朱树先;张仁杰;郑刚;;核函数的选择与改进在人脸识别中的应用[J];计算机工程与应用;2009年08期
中国博士学位论文全文数据库 前3条
1 刘青山;人脸跟踪与识别的研究[D];中国科学院研究生院(自动化研究所);2003年
2 李烨;基于支持向量机的集成学习研究[D];上海交通大学;2007年
3 张成元;基于子空间分析的人脸识别算法研究[D];北京交通大学;2009年
中国硕士学位论文全文数据库 前10条
1 刘文瑶;多分类器系统中的组合方法及差异性度量研究[D];浙江大学;2005年
2 王丹;基于Fisher判据的人脸识别方法研究[D];吉林大学;2005年
3 孔凡芝;基于Adaboost和支持向量机的人脸识别系统研究[D];哈尔滨工程大学;2005年
4 杜晓旭;基于Boosting算法的人脸识别方法研究[D];浙江大学;2006年
5 王辉;基于核主成分分析特征提取及支持向量机的人脸识别应用研究[D];合肥工业大学;2006年
6 孙铁;改进的核函数算法及其在人脸识别中的应用研究[D];西北工业大学;2007年
7 杜世强;基于核Fisher判别的人脸识别方法研究[D];陕西师范大学;2007年
8 范莹;基于进化计算和模糊聚类技术的多分类器联合研究[D];山东师范大学;2008年
9 邱潇钰;核函数的参数选择[D];山东师范大学;2008年
10 童燕;基于IPMI的智能平台管理系统的实现[D];华东师范大学;2008年
【相似文献】
中国期刊全文数据库 前10条
1 赵洪波;;基于遗传算法的进化支持向量机研究[J];绍兴文理学院学报(自然科学版);2004年03期
2 崔敬波,周凤岐;水文计算中的非参数统计方法[J];吉林水利;2005年07期
3 张炤;张素;章琛曦;陈亚珠;;基于多核支持向量机的概率密度估计方法[J];计算机仿真;2006年01期
4 刘浩洋;陈德运;李谋遵;;基于支持向量机的电容层析成像图像重建算法[J];哈尔滨理工大学学报;2006年04期
5 杨树范;任月鸥;王雪;;基于支持向量机的虹膜识别方法[J];长春工业大学学报(自然科学版);2006年04期
6 李方方;赵英凯;姜志兵;;基于支持向量机的油品质量预测[J];计算机工程;2007年02期
7 赵虹;韦丽华;;基于支持向量机的说话人识别研究[J];现代电子技术;2007年06期
8 袁小艳;刘爱伦;;基于PSO算法的支持向量机核参数选择问题研究[J];自动化技术与应用;2007年05期
9 王璞;杨建宇;;基于乘积性模糊函数的核函数设计方法[J];电波科学学报;2007年06期
10 胡哲;郑诚;闵鹏鹏;;支持向量机及其应用研究[J];重庆科技学院学报(自然科学版);2008年02期
中国重要会议论文全文数据库 前10条
1 应自炉;张有为;李景文;;基于GDA和SVM的人脸表情识别[A];第十三届全国信号处理学术年会(CCSP-2007)论文集[C];2007年
2 李宏光;姚振汉;;重构核点法在弹性力学问题中的应用[A];第14届全国结构工程学术会议论文集(第一册)[C];2005年
3 齐志泉;田英杰;徐志洁;;支持向量机中的核参数选择问题[A];第16届中国过程控制学术年会暨第4届全国故障诊断与安全性学术会议论文集[C];2005年
4 尹越栋;郭丙君;;基于最小二乘支持向量机的非线性通用模型控制[A];中国计量协会冶金分会2008年会论文集[C];2008年
5 尹越栋;郭丙君;;基于最小二乘支持向量机的非线性通用模型控制[A];2008全国第十三届自动化应用技术学术交流会论文集[C];2008年
6 毕锦烟;李巍华;;基于半监督模糊核聚类的齿轮箱早期故障检测方法[A];第九届全国振动理论及应用学术会议论文摘要集[C];2007年
7 刘耀年;王浩;何昌浩;何萍;;基于支持向量回归机的短期电力负荷预测[A];第十届全国电工数学学术年会论文集[C];2005年
8 高荣;刘晓华;;基于小波变换的支持向量机短期负荷预测[A];第16届中国过程控制学术年会暨第4届全国故障诊断与安全性学术会议论文集[C];2005年
9 傅若玮;宋执环;;基于核独立成分分析的过程故障检测方法[A];全国第19届计算机技术与应用(CACIS)学术会议论文集(上册)[C];2008年
10 杨代琴;杨宗凯;胡静;;基于SVM的模式识别算法的研究与改进[A];第十届全国信号处理学术年会(CCSP-2001)论文集[C];2001年
中国博士学位论文全文数据库 前10条
1 王凡;基于支持向量机的交通流预测方法研究[D];大连理工大学;2010年
2 吴涛;核函数的性质、方法及其在障碍检测中的应用[D];中国人民解放军国防科学技术大学;2003年
3 朱胜利;Mean Shift及相关算法在视频跟踪中的研究[D];浙江大学;2006年
4 王国胜;支持向量机的理论与算法研究[D];北京邮电大学;2008年
5 段青;基于稀疏贝叶斯学习方法的回归与分类在电力系统中的预测研究[D];山东大学;2010年
6 任东;基于支持向量机的植物病害识别研究[D];吉林大学;2007年
7 孙德山;支持向量机分类与回归方法研究[D];中南大学;2004年
8 甘泉;改进的时频分布及其在雷达信号中的应用[D];西南交通大学;2006年
9 业宁;支持向量机若干基础研究及其在图像识别中的应用[D];东南大学;2006年
10 赵姝;计算智能及其在气象信息分析中的应用[D];安徽大学;2007年
中国硕士学位论文全文数据库 前10条
1 康凯;基于核函数的集成学习算法研究与应用[D];山东师范大学;2009年
2 周岩;基于独立分量分析(ICA)的人脸识别方法的研究[D];长春理工大学;2007年
3 余萍;一种基于边界调节的支持向量机模型[D];重庆大学;2007年
4 雷瑾(Theingi Shwe);基于支持向量机的船舶主机缸盖故障诊断的研究[D];上海海事大学;2007年
5 郎凡;基于遗传算法的改进支持向量机财务预警研究[D];北京交通大学;2008年
6 徐淑萍;基于支持向量机的图像分割研究综述[D];辽宁科技大学;2008年
7 李俊;基于支持向量机的船舶交通事故预测研究[D];武汉理工大学;2008年
8 杨彦宁;支持向量回归机在基金净值预测中的应用[D];西安科技大学;2008年
9 魏丹;支持向量机多分类预测技术研究[D];西安科技大学;2008年
10 张晓华;基于核判别分析的人脸识别算法[D];哈尔滨理工大学;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026