收藏本站
《西南交通大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

多分类器集成技术研究

康恒政  
【摘要】:作为数据挖掘领域中一项重要的技术,分类技术在许多方面有着广泛的应用,目前存在着很多的分类技术,如决策树、支持向量机等。为了达到比较好的预测效果,传统的操作中,常常通过训练集产生多个分类模型,再用测试集逐个测试其分类性能,把性能最好的一个作为最终的分类模型。但是单个分类模型的预测性能毕竟有限,而且每个分类器都有其适合分类的数据区域,它可能对测试集表现出比较好的效果,但是对待测数据却没有很好的效果,这体现了单个分类器分类性能的不稳定性。而通过对多个单分类器进行有效地组合既可以提高分类的性能,又可以保证预测结果的稳定性,在这种情况下,分类集成技术应运而生。 分类集成技术主要是通过对多个单分类器进行组合来提高分类性能,这些单分类器被称为基分类器,它主要包括两个部分:基分类器的产生方式和基分类器的组合方式。Boosting算法是分类集成学习中比较有代表性的方法,它产生基分类器时,通过在训练集样本上维护一套权重分布,使每次训练产生的基分类器关注不同的样本;Bagging方法也是一种比较重要的分类集成技术,它通过每次有放回抽样来产生基分类器,每个样本被选中的机会是完全相等的。MultiBoost方法可以看作Boosting方法和Wagging方法的结合,经过验证,它相对于Boosting方法和Wagging方法有较低的错误率,它主要是对训练集指定一套符合泊松分布的权重,然后生成基分类器。本文通过对这些方法进行分析,提出了两种改进的训练集样本加权方法用于产生基分类器。. 基分类器的组合方式是分类集成中另一个重要的方面,在基分类器的输出是类别的情况下,目前常用的是投票法;Bagging方法用的是简单投票法,每个基分类器的投票在最终决策中是相同的,Boosting方法是根据基分类器的分类错误率对每个基分类器给予一个投票权重,最终的决策运用有权投票技术。本文详细分析了有权投票技术,在此基础上,针对不同方面的考虑,提出了两种投票权值调整的方法。最后通过实验对本文所提算法进行了实验验证,结果显示,本文所提方法可以进一步提高分类性能。
【学位授予单位】:西南交通大学
【学位级别】:硕士
【学位授予年份】:2011
【分类号】:TP311.13

免费申请
【引证文献】
中国期刊全文数据库 前1条
1 张建;武东英;刘慧生;;基于随机森林的流量分类方法[J];信息工程大学学报;2012年05期
【参考文献】
中国期刊全文数据库 前10条
1 王岚,陈珂,迟惠生;多特征组合多分类器的方法用于“文本无关”的说话人辨认(英文 )[J];北京大学学报(自然科学版);1998年Z1期
2 李文斌;刘椿年;钟宁;;基于两阶段集成学习的分类器集成[J];北京工业大学学报;2010年03期
3 闫瑞;曹先彬;李凯;;面向短文本的动态组合分类算法[J];电子学报;2009年05期
4 王海川,张立明;一种新的Adaboost快速训练算法[J];复旦学报(自然科学版);2004年01期
5 王正群,陈世福,陈兆乾;一种主动学习神经网络集成方法[J];计算机研究与发展;2005年03期
6 李烨;蔡云泽;尹汝泼;许晓鸣;;基于证据理论的多类分类支持向量机集成[J];计算机研究与发展;2008年04期
7 杨利英,覃征,王向华;多分类器融合实现机型识别[J];计算机工程与应用;2004年15期
8 张燕平;曹振田;赵姝;郑尧军;杜玲;窦蓉蓉;;一种新的决策树选择性集成学习方法[J];计算机工程与应用;2010年17期
9 琚春华;殷贤君;许翀寰;;结合自助抽样的动态数据流贝叶斯分类算法[J];计算机工程与应用;2011年08期
10 李凯;崔丽娟;;集成学习算法的差异性及性能比较[J];计算机工程;2008年06期
中国硕士学位论文全文数据库 前1条
1 张衡;基于MAS的多分类器融合研究及其在RoboCup2D中的应用[D];江苏大学;2007年
【共引文献】
中国期刊全文数据库 前10条
1 干娟;;基于决策树算法的学生综合测评系统的设计[J];安徽电子信息职业技术学院学报;2011年04期
2 宋平平;;基于数据挖掘的智能入侵检测系统模型及实现[J];安徽工程科技学院学报(自然科学版);2006年03期
3 潘希姣;;多子群粒子群集成神经网络[J];安徽建筑工业学院学报(自然科学版);2007年02期
4 焦亚冰;;教学评价数据挖掘中的关联规则分析与设计[J];辽宁科技大学学报;2010年03期
5 林正奎;唐焕玲;鲁明羽;王敬东;;基于特征多视图提升Naive Bayesian的Boosting改进算法[J];北京交通大学学报;2009年06期
6 孙娟;张秀梅;;浅谈数据挖掘理论与技术[J];办公自动化;2008年16期
7 张海;王尧;陈冰;胡荣祖;高红旭;赵凤起;;用Boosting算法预测多硝基芳香族化合物的密度[J];火炸药学报;2007年05期
8 张海;丁毅涛;王尧;胡荣祖;高红旭;赵凤起;;自适应梯度Boosting算法及多硝基芳香族化合物密度的主因子选择[J];火炸药学报;2011年02期
9 苏思;姜礼平;邹明;;基于多分类支持向量机和证据合成方法的多传感器信息融合研究[J];兵工自动化;2010年01期
10 李文斌;刘椿年;钟宁;;基于两阶段集成学习的分类器集成[J];北京工业大学学报;2010年03期
中国重要会议论文全文数据库 前10条
1 ;Predictive Control Based on Multi-network for a Deep Seabed Mining Robot Vehicle[A];中国自动化学会控制理论专业委员会A卷[C];2011年
2 毛存礼;余正涛;线岩团;郭剑毅;雷雄丽;;基于短信的旅游景点酒店问答系统研究[A];中国自动化学会控制理论专业委员会A卷[C];2011年
3 赵云鹏;石丽;刘莹;;基于数据挖掘的高校规模分析及应用研究[A];第九届全国信息获取与处理学术会议论文集Ⅰ[C];2011年
4 杜晓凤;丁友东;;FloatBag选择性神经网络集成及其在人脸检测中的应用[A];第十二届全国信号处理学术年会(CCSP-2005)论文集[C];2005年
5 夏俊士;杜培军;张伟;;遥感影像多分类器集成系统的设计与实现[A];中国测绘学会2010年学术年会论文集[C];2010年
6 杨纪军;朱培栋;;关联规则挖掘技术在蜜罐系统中的应用[A];中国电子学会第十六届信息论学术年会论文集[C];2009年
7 刘智涛;;数据挖掘中的关联规则浅析[A];甘肃成人教育协会2008年年会论文集[C];2008年
8 刘大为;冯径;孙春风;刘子俊;;基于时间序列分析的气象观探测设备状态预测研究[A];2009第五届苏皖两省大气探测、环境遥感与电子技术学术研讨会专辑[C];2009年
9 原姝;;售后维修服务系统的智能化流程研究[A];江苏省系统工程学会第十一届学术年会论文集[C];2009年
10 ;Nave Bayes Ensemble Learning Based on Oracle Selection[A];2009中国控制与决策会议论文集(1)[C];2009年
中国博士学位论文全文数据库 前10条
1 于化龙;基于DNA微阵列数据的癌症分类技术研究[D];哈尔滨工程大学;2010年
2 李建平;面向异构数据源的网络安全态势感知模型与方法研究[D];哈尔滨工程大学;2010年
3 刘效武;基于多源融合的网络安全态势量化感知与评估[D];哈尔滨工程大学;2009年
4 殷志伟;基于统计学习理论的分类方法研究[D];哈尔滨工程大学;2009年
5 邬俊;基于交互式语义推理的图像检索算法研究[D];大连海事大学;2010年
6 王义文;钢球表面缺陷检测关键技术研究及样机研制[D];哈尔滨理工大学;2010年
7 李彤岩;基于数据挖掘的通信网告警相关性分析研究[D];电子科技大学;2010年
8 甘良志;核学习算法与集成方法研究[D];浙江大学;2010年
9 杨国鹏;基于机器学习方法的高光谱影像分类研究[D];解放军信息工程大学;2010年
10 徐迪红;复杂背景下的交通标志检测和分类算法研究[D];武汉大学;2010年
中国硕士学位论文全文数据库 前10条
1 马冉冉;集成学习算法研究[D];山东科技大学;2010年
2 王萍;语音情感识别研究[D];山东科技大学;2010年
3 吕万里;中文文本分类技术研究[D];山东科技大学;2010年
4 汤雪;时间序列线性表示方法及其相似性度量算法研究[D];山东科技大学;2010年
5 江达秀;基于HMAX模型的人脸表情识别研究[D];浙江理工大学;2010年
6 陈松峰;利用PCA和AdaBoost建立基于贝叶斯的组合分类器[D];郑州大学;2010年
7 曹彦;基于支持向量机的特征选择及其集成方法的研究[D];郑州大学;2010年
8 周驰;数据流上概念漂移的检测和分类[D];郑州大学;2010年
9 解保忠;计算机在矽肺病早期诊断及预测中的应用研究[D];哈尔滨工程大学;2010年
10 尹丽玲;基于人工免疫算法的Web文本挖掘研究[D];哈尔滨工程大学;2010年
【同被引文献】
中国期刊全文数据库 前5条
1 陈凯;马景义;;一种选择性SER-BagBoosting Trees集成学习研究[J];计算机科学;2009年09期
2 朱欣;赵雷;杨季文;;基于CVFDT的网络流量分类方法[J];计算机工程;2011年12期
3 王丽婷;丁晓青;方驰;;基于随机森林的人脸关键点精确定位方法[J];清华大学学报(自然科学版)网络.预览;2009年04期
4 鲁刚;张宏莉;叶麟;;P2P流量识别[J];软件学报;2011年06期
5 王爱平;万国伟;程志全;李思昆;;支持在线学习的增量式极端随机森林分类器[J];软件学报;2011年09期
【二级参考文献】
中国期刊全文数据库 前10条
1 孙全,叶秀清,顾伟康;一种新的基于证据理论的合成公式[J];电子学报;2000年08期
2 李凯,黄厚宽;一种提高神经网络集成差异性的学习方法[J];电子学报;2005年08期
3 田凤占,黄丽,于剑,黄厚宽;包含隐变量的贝叶斯网络增量学习方法[J];电子学报;2005年11期
4 李文斌;刘椿年;陈嶷瑛;;基于混合高斯模型的电子邮件多过滤器融合方法[J];电子学报;2006年02期
5 谭华春;章毓晋;;基于人脸相似度加权距离的非特定人表情识别[J];电子与信息学报;2007年02期
6 李国正,杨杰,孔安生,陈念贻;基于聚类算法的选择性神经网络集成[J];复旦学报(自然科学版);2004年05期
7 林智勇;郝志峰;杨晓伟;;若干评价准则对不平衡数据学习的影响[J];华南理工大学学报(自然科学版);2010年04期
8 康学雷,邵凌,张立明;一种基于肤色和模板的人脸检测方法[J];红外与毫米波学报;2000年03期
9 方勇,戚飞虎;一种新的多类模式识别方法[J];红外与毫米波学报;2004年06期
10 张文生,王珏,戴国忠;支持向量机中引入后验概率的理论和方法研究[J];计算机研究与发展;2002年04期
中国硕士学位论文全文数据库 前3条
1 潘翔;基于多分类器集成的模式识别研究[D];浙江工业大学;2002年
2 王珑;基于MAS环境的Agent交互与协作策略的研究[D];电子科技大学;2003年
3 潘凌寒;面向Agent的软件分析和设计方法的研究[D];江苏大学;2005年
【相似文献】
中国期刊全文数据库 前10条
1 陈志平;丁大伟;;OCSVM集成模型解决支持向量机的大规模训练问题[J];电脑知识与技术;2009年02期
2 周艳平,夏利民,宋星光;基于Gabor滤波的多分类器集成人脸表情识别[J];长沙交通学院学报;2005年02期
3 张登胜;模式识别中的多子系统集成[J];安庆师范学院学报(自然科学版);1997年04期
4 万红梅,金连文,尹俊勋;手写体汉字识别纯神经网络多分类器集成[J];计算机工程与应用;2005年28期
5 吴敏清,金连文,尹俊勋,黄建成;一种用于手写体汉字识别的候选字加权多分类器集成方法[J];计算机工程;2001年03期
6 喻莹;杨扬;董才林;何秀玲;陈增照;;基于多分类器集成的手写体金融汉字识别[J];计算机工程与应用;2007年15期
7 郭红玲;程显毅;;多分类器选择集成方法[J];计算机工程与应用;2009年13期
8 王新,沈峥;Boosting及其在数据挖掘中的应用[J];云南民族大学学报(自然科学版);2004年02期
9 薛梅;郑全弟;;基于差异性度量的多分类器集成系统设计[J];计算机工程与设计;2010年23期
10 郑文武;曾永年;;利用多分类器集成进行遥感影像分类[J];武汉大学学报(信息科学版);2011年11期
中国重要会议论文全文数据库 前10条
1 夏俊士;杜培军;张伟;;遥感影像多分类器集成系统的设计与实现[A];中国测绘学会2010年学术年会论文集[C];2010年
2 关菁华;刘大有;贾海洋;;自适应多分类器集成学习算法[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
3 朱小燕;史一凡;马少平;;脱机手写体字符识别研究[A];面向21世纪的科技进步与社会经济发展(上册)[C];1999年
4 翟素兰;罗斌;郭玉堂;;双向Boosting模糊聚类集成[A];第二十六届中国控制会议论文集[C];2007年
5 李秋洁;茅耀斌;王执铨;;一种基于boosting的不平衡数据分类算法[A];中国自动化学会控制理论专业委员会C卷[C];2011年
6 李晓波;;集成分类对比:Bagging NB & Boosting NB[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年
7 李训青;黄磊;刘迎建;;基于Boosting集成的SMO增强型分类器设计[A];第八届全国汉字识别学术会议论文集[C];2002年
8 范杰清;孙凤杰;李宝儒;;OCR技术在高压断路器开关图像识别中的应用[A];图像图形技术研究与应用2009——第四届图像图形技术与应用学术会议论文集[C];2009年
9 房一飞;张冬茉;;基于boosting的文本分类在股市领域信息抽取系统中的应用[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年
10 胡良梅;张骏;谢昭;;Booosting及其在图像理解中应用综述[A];第七届全国信息获取与处理学术会议论文集[C];2009年
中国重要报纸全文数据库 前1条
1 郭廷杰;日本钢企度危机打好“三张牌”[N];中国冶金报;2009年
中国博士学位论文全文数据库 前10条
1 林煜明;面向网络评论的观点分析技术[D];华东师范大学;2013年
2 张振宇;基于Boosting算法的感知无线电决策研究及其应用[D];贵州大学;2009年
3 罗红霞;地学知识辅助遥感进行山地丘陵区基于系统分类标准的土壤自动分类方法研究[D];武汉大学;2005年
4 章军;小生境粒子群优化算法及其在多分类器集成中的应用研究[D];中国科学技术大学;2007年
5 于玲;基于数据的复杂系统集成建模方法及其应用研究[D];浙江大学;2006年
6 谢元澄;分类器集成研究[D];南京理工大学;2009年
7 高敬阳;神经网络集成BOOSTING类算法研究[D];北京化工大学;2012年
8 李海生;基于证据理论的分类方法研究[D];华南理工大学;2013年
9 黄承武;HSE管理体系暨环境安全专家系统在石化企业中的应用[D];东华大学;2008年
10 阳维;乳腺肿瘤的超声图像特征定量分析与良恶性识别[D];上海交通大学;2009年
中国硕士学位论文全文数据库 前10条
1 康恒政;多分类器集成技术研究[D];西南交通大学;2011年
2 朱林杰;基于多分类器集成的入侵检测研究[D];兰州理工大学;2011年
3 潘翔;基于多分类器集成的模式识别研究[D];浙江工业大学;2002年
4 关超;稳定的Boosting类神经网络新算法研究[D];北京化工大学;2011年
5 张丽;基于Boosting技术的显露模式集成分类算法[D];湖南大学;2011年
6 沈丁成;基于在线Boosting算法的目标跟踪研究[D];天津理工大学;2013年
7 丁红帅;基于Boosting的分布估计算法[D];上海交通大学;2010年
8 乐斌;Boosting算法研究及其在光谱分析中的应用[D];浙江大学;2004年
9 裴玉红;目标跟踪中在线boosting学习算法的研究[D];北京理工大学;2010年
10 刘利平;基因模式的PICA获取及基于Boosting的模式分类[D];西安电子科技大学;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026