收藏本站
《山东科技大学》 2010年 硕士论文
收藏 | 手机打开
二维码
手机客户端打开本文

集成学习算法研究

马冉冉  
【摘要】:集成学习使用多个学习器来解决同一问题,能够显著提高学习系统的泛化能力,成为近年来机器学习领域中一个重要的研究方向。尽管集成学习的经典算法族Boosting和Bagging已经研究得比较深入,但目前关于集成学习算法的设计还没有统一的规则可循,因此继续从其他角度来研究性能更好的集成学习算法是一个趋势,也很有必要。选择性集成作为一种特殊的集成学习范式,它选择出个体学习器中差异大,泛化性能好的部分学习器参与集成,得到了比以往集成所有的学习器更好的性能。因此如何选择出差异大,泛化性能好的部分个体学习器成为集成学习的一个研究热点。 本文在简单介绍集成学习的相关理论,总结集成学习领域的算法和技术的基础上,主要做了以下两方面的工作: 首先,提出了一种新的基于成对约束和子集选择的集成学习算法。算法中有两个创新点,一是将半监督聚类中出现的新概念(成对约束)引入到Bagging中的Bootstrap可重复采样中以得到具有更大差异性的训练子集;二是定义了一个类别离散度函数。这个函数的函数值是用来衡量训练子集中数据的类别离散程度。通过选择出类别离散程度较好的训练子集以间接实现个体学习器的选择。为了证明算法的有效性,使用10个标准UCI数据集在Matlab7.0的环境下对算法进行了测试,而且还与传统的Bagging算法进行了比较,实验结果表明该算法优于传统的Bagging算法,能获得更好的预测准确率。 其次,提出了一种基于互信息技术的选择性集成学习算法,简称为mRMR-MISEN算法。该算法将特征选择中的基于互信息的最大相关最小冗余准则用于集成学习中的个体学习器的选择。最大相关计算个体学习器在验证集上的输出与目标输出之间的互信息。互信息越大,个体学习器与目标输出越接近,预测性能越好;最小冗余计算各个个体学习器在验证集上的各个输出之间的互信息。互信息越大,两个个体学习器之间的差异性就越小。算法利用最大相关最小冗余准则来实现个体学习器的选择,不仅考虑了选择出的个体学习器的泛化能力,也充分考虑了它们之间的差异性。在Matlab7.0下使用10个标准数据集对算法进行了测试,而且与MISEM (Mutual Information Based Selective Ensemble)和CMISEN(Conditional Mutual Information Based Selective Ensemble)进行了比较,实验结果表明,该算法在预测精度上优于以上两种算法。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 俞扬;周志华;;集成学习中完全随机学习策略研究[J];计算机工程;2006年17期
2 贾瑞玉;冯伦阔;李永顺;张新建;;基于集成学习的覆盖算法[J];计算机技术与发展;2009年07期
3 徐冲;王汝传;任勋益;;基于集成学习的入侵检测方法[J];计算机科学;2010年07期
4 王建敏;李铁军;董允强;;基于神经网络集成学习的智能决策支持系统构建[J];电脑知识与技术;2008年27期
5 盛高斌;姚明海;;基于半监督回归的选择性集成算法[J];计算机仿真;2009年10期
6 吴科主;江雨燕;周传华;;一种多层次选择性集成学习算法[J];计算机应用与软件;2011年01期
7 赵洋;冀俊忠;李文斌;;基于复杂网络的分类器融合[J];科学技术与工程;2008年14期
8 向坚;叶绿;朱红丽;;基于子空间集成学习的3维人体运动识别[J];中国图象图形学报;2008年10期
9 唐伟,周志华;基于Bagging的选择性聚类集成[J];软件学报;2005年04期
10 陈全;赵文辉;李洁;江雨燕;;选择性集成学习算法的研究[J];计算机技术与发展;2010年02期
11 缪志敏;赵陆文;胡谷雨;王琼;;基于单类分类器的半监督学习[J];模式识别与人工智能;2009年06期
12 朱小飞;陈龙;王国胤;;基于交叉分组技术的集成算法研究[J];计算机科学;2008年03期
13 张妤;王文剑;康向平;;一种回归SVM选择性集成方法[J];计算机科学;2008年04期
14 刘天羽;李国正;;滚动轴承故障诊断中数据不均衡问题的研究[J];计算机工程与科学;2010年05期
15 姜远;周志华;;基于词频分类器集成的文本分类方法[J];计算机研究与发展;2006年10期
16 凌霄汉;吉根林;;一种基于聚类集成的无监督特征选择方法[J];南京师范大学学报(工程技术版);2007年03期
17 缪志敏;胡谷雨;赵陆文;陈彦德;;一种基于支持向量数据描述的半监督学习算法[J];解放军理工大学学报(自然科学版);2010年01期
18 贺怀清;李建伏;;一种集成式不确定推理方法研究[J];计算机科学;2011年06期
19 刘天羽;李国正;尤鸣宇;;不均衡故障诊断数据上的特征选择[J];小型微型计算机系统;2009年05期
20 刘天羽;李国正;;大脑胶质瘤诊断中不均衡问题的特征选择[J];广西师范大学学报(自然科学版);2009年03期
中国重要会议论文全文数据库 前10条
1 叶红云;倪志伟;陈恩红;;一种混合型集成学习演化决策树算法[A];2005年“数字安徽”博士科技论坛论文集[C];2005年
2 付焕焕;李俊;张洁;;入侵检测中机器学习算法的集成[A];中国电子学会第十七届信息论学术年会论文集[C];2010年
3 赵玲玲;周水生;王雪岩;;基于集成算法的半监督学习[A];第十四届全国信号处理学术年会(CCSP-2009)论文集[C];2009年
4 章成志;;基于集成学习的自动标引方法研究[A];中国索引学会第三次全国会员代表大会暨学术论坛论文集[C];2008年
5 李烨;蔡云泽;许晓鸣;;基于支持向量机集成的故障诊断[A];第16届中国过程控制学术年会暨第4届全国故障诊断与安全性学术会议论文集[C];2005年
6 刘伍颖;王挺;;一种多过滤器集成学习垃圾邮件过滤方法[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
7 张红梅;高海华;王行愚;;抑制样本噪声的AdaBoost算法及其在入侵检测中的应用[A];2007年中国智能自动化会议论文集[C];2007年
8 张红梅;;基于粗糙集特征约简的SVM集成入侵检测模型[A];2009中国控制与决策会议论文集(3)[C];2009年
9 关菁华;刘大有;贾海洋;;自适应多分类器集成学习算法[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
10 王中卿;李寿山;朱巧明;李培峰;周国栋;;基于不平衡数据的中文情感分类[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
中国博士学位论文全文数据库 前10条
1 方育柯;集成学习理论研究及其在个性化推荐中的应用[D];电子科技大学;2011年
2 王清;集成学习中若干关键问题的研究[D];复旦大学;2011年
3 张春霞;集成学习中有关算法的研究[D];西安交通大学;2010年
4 张丽新;高维数据的特征选择及基于特征选择的集成学习研究[D];清华大学;2004年
5 刘天羽;基于特征选择技术的集成学习方法及其应用研究[D];上海大学;2007年
6 吴冰;相关向量回归元建模关键技术及其应用研究[D];国防科学技术大学;2011年
7 武晓莉;信息融合及集成学习在水质光谱分析中的应用研究[D];浙江大学;2007年
8 沈道义;基于最小化训练误差的子空间分类算法研究[D];中国科学技术大学;2008年
9 关菁华;基于贝叶斯网数据挖掘若干问题研究[D];吉林大学;2009年
10 刘峰;贝叶斯网络结构学习算法研究[D];北京邮电大学;2008年
中国硕士学位论文全文数据库 前10条
1 张家红;集成分类学习算法研究[D];山东师范大学;2011年
2 刘晓坤;基于遗传算法的混合学习和集成学习研究[D];天津大学;2003年
3 贺梁;基于支持向量机的集成学习算法研究[D];华南理工大学;2010年
4 刘立元;基于集成学习的蛋白质亚细胞定位预测[D];济南大学;2011年
5 李杉;选择性聚类集成算法研究[D];山东师范大学;2010年
6 马冉冉;集成学习算法研究[D];山东科技大学;2010年
7 王体龙;基于置信区间的贝叶斯网参数学习算法及集成学习研究[D];吉林大学;2008年
8 李新军;基于支持向量机的建模预测研究[D];天津大学;2004年
9 李洪伟;基于模式识别和集成学习的电力系统暂态稳定评估[D];华北电力大学(河北);2010年
10 李涛;基于条件互信息的集成学习的研究与应用[D];中国海洋大学;2009年
中国重要报纸全文数据库 前10条
1 陈思侠 索伦格 戴友春;萨仁花:化作春泥更护花[N];酒泉日报;2006年
2 郝新豫;歌唱的运动与夸张[N];音乐周报;2004年
3 尹晓宇;谁催生了艺考热?[N];人民日报;2007年
4 记者 陈思侠通讯员 马晓伟 李建彬;幸福的花儿在心中绽放[N];酒泉日报;2008年
5 本报实习生 翟晶晶;我用心灵唱歌[N];广西日报;2004年
6 新乡市实验小学 买李红;家长如何针对孩子的天性进行艺术教育[N];新乡日报;2007年
7 特约记者 胡训军 钟友国 王维 特约记者 陈唐盛 特约通讯员 张修富;各部队领导和机关带头践行“三个代表”[N];解放军报;2001年
8 北京市朝阳区教育委员会 马金东;器乐教学:全面提高学生素质[N];中国教育报;2003年
9 朴长天 作者系中央民族大学音乐学院管弦教研室主任;韩国音乐教育一瞥[N];中国艺术报;2004年
10 记者 单超哲 李天斌;大连掀起全民学习热潮[N];经济日报;2001年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978