收藏本站
《西安交通大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

集成学习中有关算法的研究

张春霞  
【摘要】:集成学习是一种新的机器学习范式,它使用多个学习机来解决同一个问题。由于它能显著提高一个学习系统的泛化能力,从20世纪90年代开始,对集成学习理论和算法的研究一直是机器学习领域中的热点问题之一。目前,集成学习已经被成功应用于解决语音识别、基因数据分析、遥感数据处理、图像处理、文本分类等众多实际问题。 然而,集成学习的技术还不够成熟,在集成学习的研究中还存在大量尚未解决的问题。本文对集成学习进行了较为深入的研究,在简要介绍了集成学习的概念、构成、作用及其最新研究成果,分析了集成学习中两大算法族Bagging和Boosting的工作机制之后,本文主要做了以下几个方面的研究工作: (1)基于AdaBoost分类算法,设计了一个新的局部Boosting分类算法,新算法比AdaBoost更精确,对噪声也更稳健。同时,采用Kappa-Error图对集成分类器的准确性和多样性作了进一步的分析。 (2)将Bagging算法、主成分分析及Random Subspace方法相结合,提出了一个新的集成分类算法。利用一些实际数据集对新算法的性能进行考查的结果表明新算法的预测精度显著优于Bagging和Random Forest,尽管AdaBoost与新算法的预测精度相当,但在计算复杂性方面新算法更具优势。 (3)结合Bagging和Rotation Forest这两个算法的优点,设计了一个预测精度更高、对噪声更稳健的集成分类算法,利用误差的偏差-方差分解对几种构建集成分类器的算法作了更深入的分析。 (4)将Rotation Forest集成分类算法进行推广,用于解决回归问题,并利用模拟数据和实际数据研究了该算法中的参数选择对算法性能的影响。 (5)采用Boosting算法的主要思想来确定Double-Bagging集成学习技术所生成的基学习机的合并顺序,提出了一种新的选择性集成学习算法,提高了原有集成学习机的预测精度和速度。 (6)利用学习曲线对多响应线性回归(Multi-response Linear Regression,MLR)合并基分类器方法的性能在多种情况下(训练样本的不同容量、对给定数据集使用不同划分方法(Reusing, Validation, Stacked generalization)用于训练基分类器和合并准则)进行了较全面的研究,并与其他一些合并方法进行了比较,试验表明多响应线性回归合并准则在小样本容量下效果较好。 本文利用模拟数据和实际数据做了大量的数值试验,其结果表明,文中所提出的新算法具有令人满意的预测效果,从而为我们解决实际问题提供了一些可行途径。
【学位授予单位】:西安交通大学
【学位级别】:博士
【学位授予年份】:2010
【分类号】:TP181

【引证文献】
中国博士学位论文全文数据库 前1条
1 李海生;基于证据理论的分类方法研究[D];华南理工大学;2013年
【共引文献】
中国期刊全文数据库 前10条
1 蔡坤琪;;基于相关鉴别分析和随机森林的人脸识别方法[J];安徽电子信息职业技术学院学报;2012年01期
2 刘金红;陆余良;施凡;宋舜宏;;基于语义上下文分析的因特网人物信息挖掘[J];安徽大学学报(自然科学版);2009年04期
3 刘明;袁保宗;;遗传模糊系统的分类器融合[J];北京交通大学学报;2007年02期
4 钟尚平;林静;;一个基于TSVM的GIF图像通用隐写检测方法[J];北京交通大学学报;2009年02期
5 焦健;瞿有利;;知网的话题更新与跟踪算法研究[J];北京交通大学学报;2009年05期
6 林正奎;唐焕玲;鲁明羽;王敬东;;基于特征多视图提升Naive Bayesian的Boosting改进算法[J];北京交通大学学报;2009年06期
7 刘椿年,苌彩卿,黄佳进,欧创新;基于Boosting的市场值函数算法及其评价[J];北京工业大学学报;2004年03期
8 蒋宗礼;徐学可;;一种基于集成学习与类指示器的文本分类方法[J];北京工业大学学报;2010年04期
9 翟云;杨炳儒;王树鹏;张德政;安冰;;基于协同进化机制的欠采样方法[J];北京科技大学学报;2011年12期
10 马楠;杨炳儒;翟云;李广原;张德政;;一种模糊认知图分类器构造方法[J];北京科技大学学报;2012年05期
中国重要会议论文全文数据库 前10条
1 张彬;金连文;;基于AdaBoost的手写体汉字相似字符识别[A];第二十六届中国控制会议论文集[C];2007年
2 毛存礼;余正涛;线岩团;郭剑毅;雷雄丽;;基于短信的旅游景点酒店问答系统研究[A];中国自动化学会控制理论专业委员会A卷[C];2011年
3 李小红;李寅;谢成明;;基于连续Adaboost彩色图像人脸检测算法[A];第九届全国信息获取与处理学术会议论文集Ⅱ[C];2011年
4 贾少春;胡秀珍;;A Method of Predicting theβ-hairpin Motifs in Proteins[A];第四届全国生物信息学与系统生物学学术大会论文集[C];2010年
5 马骥;朱慕华;肖桐;朱靖波;;面向移进-归约句法分析器的单模型系统融合算法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
6 李胜朋;王洪礼;冯剑丰;;基于不连续回归树的最大李雅谱诺夫指数计算方法[A];第九届全国振动理论及应用学术会议论文集[C];2007年
7 蒋全胜;贾民平;胡建中;许飞云;;一种基于流形学习的故障模式识别方法[A];第九届全国振动理论及应用学术会议论文集[C];2007年
8 夏俊士;杜培军;张伟;;遥感影像多分类器集成系统的设计与实现[A];中国测绘学会2010年学术年会论文集[C];2010年
9 邹志强;何中市;冷崇钦;;一种最大化分类间隔的感知器训练算法[A];2008年计算机应用技术交流会论文集[C];2008年
10 ;A Binary Classifier Mixed by KNN and Logistic Regression[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集(下)[C];2006年
中国博士学位论文全文数据库 前10条
1 于化龙;基于DNA微阵列数据的癌症分类技术研究[D];哈尔滨工程大学;2010年
2 梁洪;基于内容的医学图像检索及语义建模关键技术研究[D];哈尔滨工程大学;2010年
3 邬俊;基于交互式语义推理的图像检索算法研究[D];大连海事大学;2010年
4 李书艳;单点氨基酸多态性与疾病相关关系的预测及其机制研究[D];兰州大学;2010年
5 姚志明;基于步态触觉信息的身份识别研究[D];中国科学技术大学;2010年
6 汪澎;驾驶人警觉状态检测技术研究[D];江苏大学;2010年
7 高山;蛋白质点突变效果预测与突变数据库研究[D];南开大学;2010年
8 邓斌;B2C在线评论中的客户知识管理研究[D];电子科技大学;2010年
9 杜方;复杂网络系统间相似性识别及其应用[D];浙江大学;2010年
10 甘良志;核学习算法与集成方法研究[D];浙江大学;2010年
中国硕士学位论文全文数据库 前10条
1 马冉冉;集成学习算法研究[D];山东科技大学;2010年
2 吕万里;中文文本分类技术研究[D];山东科技大学;2010年
3 石国强;基于规则的组合分类器的研究[D];郑州大学;2010年
4 陈松峰;利用PCA和AdaBoost建立基于贝叶斯的组合分类器[D];郑州大学;2010年
5 曹彦;基于支持向量机的特征选择及其集成方法的研究[D];郑州大学;2010年
6 左国辉;基于子空间方法的人脸识别技术研究[D];哈尔滨工程大学;2009年
7 杨欣颖;潜器光视觉目标识别技术的研究与设计[D];哈尔滨工程大学;2010年
8 刘靖媛;个性搜索引擎中用户兴趣模型研究[D];哈尔滨工程大学;2010年
9 李红;数据挖掘中特征选择与聚类算法研究[D];大连理工大学;2010年
10 李海燕;互信息特征选择的研究及在代谢组学中的应用[D];大连理工大学;2010年
【同被引文献】
中国期刊全文数据库 前3条
1 刘明,袁保宗,唐晓芳;证据理论k-NN规则中确定相似度参数的新方法[J];电子学报;2005年04期
2 郭山清,高丛,姚建,谢立;基于改进的随机森林算法的入侵检测模型(英文)[J];软件学报;2005年08期
3 王爱平;万国伟;程志全;李思昆;;支持在线学习的增量式极端随机森林分类器[J];软件学报;2011年09期
中国博士学位论文全文数据库 前3条
1 王清;集成学习中若干关键问题的研究[D];复旦大学;2011年
2 李烨;基于支持向量机的集成学习研究[D];上海交通大学;2007年
3 程丽丽;支持向量机集成学习算法研究[D];哈尔滨工程大学;2009年
【相似文献】
中国期刊全文数据库 前10条
1 王昕昕;;基于遗传算法的分类方法讨论[J];电脑知识与技术;2009年33期
2 张新东;亢俊健;陈嶷瑛;李文斌;;选择分类器进行入侵检测[J];微计算机信息;2010年06期
3 吴科主;江雨燕;周传华;;一种多层次选择性集成学习算法[J];计算机应用与软件;2011年01期
4 凌霄汉;吉根林;;一种基于聚类集成的无监督特征选择方法[J];南京师范大学学报(工程技术版);2007年03期
5 陈全;赵文辉;李洁;江雨燕;;选择性集成学习算法的研究[J];计算机技术与发展;2010年02期
6 李烨,蔡云泽,许晓鸣;基于支持向量机集成的故障诊断[J];控制工程;2005年S2期
7 张燕平;窦蓉蓉;赵姝;曹振田;;基于集成学习的规范化LDA人脸识别[J];计算机工程;2010年14期
8 徐冲;王汝传;任勋益;;基于集成学习的入侵检测方法[J];计算机科学;2010年07期
9 贾瑞玉;冯伦阔;李永顺;张新建;;基于集成学习的覆盖算法[J];计算机技术与发展;2009年07期
10 张振宇;;稳健的多支持向量机自适应提升算法[J];大连交通大学学报;2010年02期
中国重要会议论文全文数据库 前10条
1 叶红云;倪志伟;陈恩红;;一种混合型集成学习演化决策树算法[A];2005年“数字安徽”博士科技论坛论文集[C];2005年
2 付焕焕;李俊;张洁;;入侵检测中机器学习算法的集成[A];中国电子学会第十七届信息论学术年会论文集[C];2010年
3 章成志;;基于集成学习的自动标引方法研究[A];中国索引学会第三次全国会员代表大会暨学术论坛论文集[C];2008年
4 李烨;蔡云泽;许晓鸣;;基于支持向量机集成的故障诊断[A];第16届中国过程控制学术年会暨第4届全国故障诊断与安全性学术会议论文集[C];2005年
5 张红梅;高海华;王行愚;;抑制样本噪声的AdaBoost算法及其在入侵检测中的应用[A];2007年中国智能自动化会议论文集[C];2007年
6 张红梅;;基于粗糙集特征约简的SVM集成入侵检测模型[A];2009中国控制与决策会议论文集(3)[C];2009年
7 赵玲玲;周水生;王雪岩;;基于集成算法的半监督学习[A];第十四届全国信号处理学术年会(CCSP-2009)论文集[C];2009年
8 刘伍颖;王挺;;一种多过滤器集成学习垃圾邮件过滤方法[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
9 杜方键;杨宏晖;;K均值聚类优化集成学习[A];2011'中国西部声学学术交流会论文集[C];2011年
10 王中卿;李寿山;朱巧明;李培峰;周国栋;;基于不平衡数据的中文情感分类[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
中国重要报纸全文数据库 前10条
1 黄明;精子分类器决定生男生女[N];广东科技报;2000年
2 记者 姜晓凌 见习记者 王毅俊;原来,科技也能如此美丽[N];上海科技报;2007年
3 中国科学院东北地理与农业生态研究所 李建平;保护地球之肾 遥感体检湿地健康[N];中国水利报;2008年
4 CPW 张戈;Aperto PacketMAX系列可同时服务2000个用户[N];电脑商报;2005年
5 武德锋 李国辉 林洪文 姚作梁;图像世界任我行[N];计算机世界;2002年
6 中科院院士 戴汝为;开辟人机结合的新天地[N];计算机世界;2004年
7 本版编辑 中国科学院计算技术研究所数字媒体研究中心 山世光 陈熙霖 高文 徐昕 刘洪宇;你的脸,你的身份证明[N];中国计算机报;2006年
8 清华大学 朱健翔;人脸表情估计与表情合成[N];计算机世界;2006年
9 刘光强;LSI新一代多业务企业网关[N];中国计算机报;2007年
10 清华大学玉泉医院神外 刘伟国;意识如何进行客观评价[N];健康报;2008年
中国博士学位论文全文数据库 前10条
1 张春霞;集成学习中有关算法的研究[D];西安交通大学;2010年
2 王清;集成学习中若干关键问题的研究[D];复旦大学;2011年
3 方育柯;集成学习理论研究及其在个性化推荐中的应用[D];电子科技大学;2011年
4 张丽新;高维数据的特征选择及基于特征选择的集成学习研究[D];清华大学;2004年
5 宋相法;基于稀疏表示和集成学习的若干分类问题研究[D];西安电子科技大学;2013年
6 陆瑾;若干有机小分子生物活性和毒性的识别及预测[D];上海大学;2012年
7 刘天羽;基于特征选择技术的集成学习方法及其应用研究[D];上海大学;2007年
8 谢元澄;分类器集成研究[D];南京理工大学;2009年
9 沈道义;基于最小化训练误差的子空间分类算法研究[D];中国科学技术大学;2008年
10 关菁华;基于贝叶斯网数据挖掘若干问题研究[D];吉林大学;2009年
中国硕士学位论文全文数据库 前10条
1 张家红;集成分类学习算法研究[D];山东师范大学;2011年
2 刘晓坤;基于遗传算法的混合学习和集成学习研究[D];天津大学;2003年
3 刘立元;基于集成学习的蛋白质亚细胞定位预测[D];济南大学;2011年
4 李洪伟;基于模式识别和集成学习的电力系统暂态稳定评估[D];华北电力大学(河北);2010年
5 贺梁;基于支持向量机的集成学习算法研究[D];华南理工大学;2010年
6 王晓芹;类别不平衡数据的集成学习研究[D];山东师范大学;2010年
7 曹振田;基于Q统计量的选择性集成学习研究[D];安徽大学;2010年
8 李杉;选择性聚类集成算法研究[D];山东师范大学;2010年
9 张新东;集成学习及其应用研究[D];石家庄经济学院;2010年
10 吴科主;基于多任务的多层次选择性集成学习的研究[D];安徽工业大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026