收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于特征选择技术的集成学习方法及其应用研究

刘天羽  
【摘要】: 学习方法的泛化能力是机器学习及其应用过程中所面临的关键性挑战问题。集成学习通过训练多个个体并将其结果进行合成,显著地提高了学习系统的泛化能力,成为近年来机器学习领域一个重要的研究方向,并被国际权威T.G Dietterich称为当前机器学习四大研究方向之首。设计出更有效的集成学习实现方法,以提高集成学习的泛化能力,并将集成学习应用到实际问题领域中取得很好的效果,是集成学习研究的热点问题。 特征选择也是机器学习领域的重要问题,特征选择可以去除冗余特征、无关特征、甚至噪声特征,从而可以得到一个无冗余、无噪声的样本集。可以有助于提高模式识别的识别率,机器学习的精度。一个特征选择的过程在原理上可以看成是一个组合优化过程,在原有的特征中选择其中的一部分,使某个特定的评价函数最优。 现在机器学习领域有许多算法与特征选择密切相关,比如集成学习和多任务学习,如何结合集成学习和特征选择算法,设计出更加有效的集成学习实现方法,提高集成学习的泛化能力,是个很重要的研究方向。 本文在分析集成方法研究现状的基础上,运用特征选择算法围绕提高集成学习方法的泛化能力展开了深入的研究,提出了更有效的集成学习方法,提高了集成学习的精度并且研究了新算法在实际数据上的应用。 特征选择后,一些没有选中的特征可能就不再进入学习器,如何利用这些特征提高学习器的精度是一个重用的问题。本文将已经提出的多任务学习技术,应用到集成学习当中,取得了很好的效果。 本文的主要工作和创新点如下: (1)研究了集成学习中个体的特征选择的问题。首先对每个个体的训练数据集进行特征选择,降低了数据集的规模,减少了无效特征和冗余特征的干扰。提出了基于预报风险的嵌入式特征选择算法的集成学习方法PRIFEB(Prediction Risk based Feature sElection for Bagging)和基于互信息特征选择算法的集成学习算法MIFEB(Mutual Information based Feature sElection for Bagging)。并作了相应的对比实验,结果表明这两种新算法提高了集成学习的泛化能力。 (2)研究了数据集在经过特征选择之后冗余的信息如何被重用的问题,并将多任务学习的概念推广到集成学习中。充分利用经过特征选择之后被删除的冗余特征的信息,提出了基于预报风险的多任务学习算法H-MTL(Heuristic Multi-Task Learning)、基于遗传算法的多任务学习算法GA-MTL(GeneticAlgorithm based Multi-Task Learning)和基于遗传算法的集成多任务学习算法GA-ENMTL(Genetic Algorithm based Ensemble Multi-Task Learning),实验表明这些算法充分利用了经过特征选择之后被删除的冗余特征信息,提高了集成学习的泛化能力。 (3)研究了集成学习中的个体选择问题。利用特征选择算法进行集成个体的选择,选择出个体差异度大的个体用于集成。提出了基于互信息算法的选择性集成学习算法MISEN(Mutual Information based Selective ENsemble),实验表明该算法提高了集成学习的效果,同时提高了选择个体的效率。 (4)研究了基于特征选择的半监督学习问题。通过运用特征选择算法去除数据的无效特征和冗余特征,提出了基于预报风险的嵌入式特征选择算法的Co-Training半监督学习算法FESCOT(FEature Selection Co-Training)。实验表明新算法可以有效地提高半监督学习的泛化能力。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 倪勇;吴汶芪;李君;;基于小样本的集成学习研究[J];机电工程;2009年12期
2 缪志敏;赵陆文;胡谷雨;王琼;;基于单类分类器的半监督学习[J];模式识别与人工智能;2009年06期
3 柳斌;李之棠;涂浩;;一种基于半监督学习的应用层流量分类方法[J];微电子学与计算机;2008年10期
4 刘天羽;李国正;尤鸣宇;;不均衡故障诊断数据上的特征选择[J];小型微型计算机系统;2009年05期
5 刘天羽;李国正;;大脑胶质瘤诊断中不均衡问题的特征选择[J];广西师范大学学报(自然科学版);2009年03期
6 缪志敏;胡谷雨;赵陆文;陈彦德;;一种基于支持向量数据描述的半监督学习算法[J];解放军理工大学学报(自然科学版);2010年01期
7 李霞;王连喜;蒋盛益;;面向不平衡问题的集成特征选择[J];山东大学学报(工学版);2011年03期
8 严岳松;倪桂强;缪志敏;潘志松;汪肇强;;基于SVDD的半监督入侵检测研究[J];微电子学与计算机;2009年10期
9 李国正;李丹;;集成学习中特征选择技术[J];上海大学学报(自然科学版);2007年05期
10 凌霄汉;吉根林;;一种基于聚类集成的无监督特征选择方法[J];南京师范大学学报(工程技术版);2007年03期
11 李丹;李国正;陆文聪;;用于药物活性预报的Co-Training方法[J];计算机科学;2006年12期
12 张雪英;;基于机器学习的文本自动分类研究进展[J];情报学报;2006年06期
13 张翔;周明全;董丽丽;闫清波;;结合粗糙集与集成学习的中文文本分类方法研究[J];计算机应用与软件;2011年01期
14 刘天羽;李国正;;齿轮故障不均衡分类问题的研究[J];计算机工程与应用;2010年20期
15 叶云龙;杨明;;一种基于优化的随机子空间分类集成算法[J];微电子学与计算机;2009年10期
16 周传华;王清;吴科主;赵保华;;平均1-依赖决策树集成算法[J];电子学报;2010年02期
17 王磊;刘艳;;基于约束Laplacian分值的半监督特征选择算法[J];吉林大学学报(信息科学版);2010年04期
18 盛高斌;姚明海;;基于半监督回归的选择性集成算法[J];计算机仿真;2009年10期
19 陈全;赵文辉;李洁;江雨燕;;选择性集成学习算法的研究[J];计算机技术与发展;2010年02期
20 李慧;李存华;王霞;;基于特征选择的网页排名算法[J];计算机工程;2010年13期
中国重要会议论文全文数据库 前10条
1 柳斌;李之棠;涂浩;;一种基于半监督学习的应用层流量分类方法[A];2008年全国开放式分布与并行计算机学术会议论文集(下册)[C];2008年
2 付焕焕;李俊;张洁;;入侵检测中机器学习算法的集成[A];中国电子学会第十七届信息论学术年会论文集[C];2010年
3 李爱新;孙铁;郭炎峰;;基于人工神经网络的脑电信号模式分类[A];自动化技术与冶金流程节能减排——全国冶金自动化信息网2008年会论文集[C];2008年
4 王浩畅;赵铁军;刘延力;于浩;;生物医学文本中命名实体识别的智能化方法[A];2006年首届ICT大会信息、知识、智能及其转换理论第一次高峰论坛会议论文集[C];2006年
5 李娜;曾向阳;;目标识别中的样本选择和特征选择联合算法研究[A];2009年西安-上海声学学术会议论文集[C];2009年
6 张永;陈思睿;杨志勇;;一种改进的文本分类方法的研究[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
7 王强;曾向阳;王曙光;李娜;;主元分析在水下目标特征选择中的应用[A];中国声学学会水声学分会2011年全国水声学学术会议论文集[C];2011年
8 高砚军;徐华平;;基于窗口自适应灰度共生矩阵的SAR图像分类[A];第六届全国信息获取与处理学术会议论文集(1)[C];2008年
9 李晓丽;王彤;杜振龙;;基于粗糙集理论的流数据最优特征选择[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
10 徐燕;孙春明;王斌;李锦涛;;基于词条频率的特征选择算法研究[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
中国博士学位论文全文数据库 前10条
1 刘天羽;基于特征选择技术的集成学习方法及其应用研究[D];上海大学;2007年
2 张丽新;高维数据的特征选择及基于特征选择的集成学习研究[D];清华大学;2004年
3 黄东山;特征选择及半监督分类方法研究[D];华中科技大学;2011年
4 王清;集成学习中若干关键问题的研究[D];复旦大学;2011年
5 刘华文;基于信息熵的特征选择算法研究[D];吉林大学;2010年
6 刘峰;贝叶斯网络结构学习算法研究[D];北京邮电大学;2008年
7 张春霞;集成学习中有关算法的研究[D];西安交通大学;2010年
8 孔怡青;半监督学习及其应用研究[D];江南大学;2009年
9 方育柯;集成学习理论研究及其在个性化推荐中的应用[D];电子科技大学;2011年
10 王娇;多视图的半监督学习研究[D];北京交通大学;2010年
中国硕士学位论文全文数据库 前10条
1 贺梁;基于支持向量机的集成学习算法研究[D];华南理工大学;2010年
2 张家红;集成分类学习算法研究[D];山东师范大学;2011年
3 邱玉祥;特征选择和集成学习及其在入侵检测中的应用[D];南京师范大学;2008年
4 刘晓坤;基于遗传算法的混合学习和集成学习研究[D];天津大学;2003年
5 李涛;基于条件互信息的集成学习的研究与应用[D];中国海洋大学;2009年
6 曹彦;基于支持向量机的特征选择及其集成方法的研究[D];郑州大学;2010年
7 葛荐;基于集成算法的半监督学习研究[D];南京信息工程大学;2012年
8 赵万鹏;基于Adaboost算法的数字识别技术的研究与应用[D];中国科学院研究生院(成都计算机应用研究所);2006年
9 王体龙;基于置信区间的贝叶斯网参数学习算法及集成学习研究[D];吉林大学;2008年
10 刘立元;基于集成学习的蛋白质亚细胞定位预测[D];济南大学;2011年
中国重要报纸全文数据库 前10条
1 周晓娟;TD已过分水岭[N];通信产业报;2008年
2 天相投顾 闻群王聃聃;选基金需考虑风险承受力[N];中国证券报;2007年
3 孙志伟;刘刚检查城防林建设[N];齐齐哈尔日报;2008年
4 郑卫东;高产鹅选种方法和标准[N];中国畜牧兽医报;2007年
5 海通证券 娄静吴先兴;把握风险收益特征选择最适合自己的基金[N];上海证券报;2007年
6 寇怀忠(作者为黄委数字办教授级高工,博士);应用神经网络研究河流水沙运动规律的相关问题[N];黄河报;2006年
7 PALADIN;化整为零,变繁为简[N];电脑报;2003年
8 朱小宁;数据挖掘:信息化战争的基础工程[N];解放军报;2005年
9 张小明;如何选择供应链[N];现代物流报;2005年
10 张小东;促销之十大常见误区(一)[N];黑龙江经济报;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978