收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Ensemble技术的非平衡数据挖掘

王义  
【摘要】: 在很多实际应用场合中,如入侵检测、信用卡诈骗等,存在很多类别不均衡的情况。类别不均衡是指:在一个样本数据集中,一类样本数目特别多,而另一类的样本数目特别小,两者样本数目相差很大。比如在网络入侵检测中,正常的网络访问要比入侵访问多得多;在保险业,往往只会有一小部分保险客户要求索赔;医疗诊断,信用卡欺诈等应用领域也存在这样的情况。在这些不均衡数据集上,传统的机器学习方法常常对大类样本的分类性能较好,而对小类样本的分类性能却很糟糕。小类别包含的信息不足以被正确分类,是因为小类别样本的信息量无法与大类别相抗衡,其信息容易淹没在大类别中,导致小类别被大量误分,因此学界提出了很多的解决类别不均衡问题的方法。 同时最近这几年对数据流的研究逐渐成为热点,对于数据流预测模型的建立已经有很多好的算法,但是关于非均衡数据流的研究还十分少见。 本文主要讨论了集成学习方法在处理非平衡数据流问题时的研究及其应用。在类别不均衡方面,本文提出了使用聚类抽样的方法来使样本类别均衡;在数据流方面,本文使用了静态集成和动态集成这两种方法来进行研究,并对这两种不同的集成方法进行了深入探讨。 本文的主要工作分为以下三点:(1)在抽样方法中,提出了使用聚类抽样的方法来使类别均衡;(2)在数据流上,提出了使用静态集成的方法来对数据流进行学习;(3)在静态集成的基础上,提出了动态集成的新方法来提高分类效果。 通过在人工模拟数据集和现实数据集上的实验表明,本文提出的方法能够有效的解决非平衡数据流问题


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 陈征,叶元平;Net Ware与Windows NT并存教学网络方案的探讨[J];实验技术与管理;2001年02期
2 刘深渊;网上项目管理和协同工作系统初探[J];建设监理;2002年04期
3 韩志刚,钱乐祥,秦奋,崔彩辉;数字城市集成建设的探讨[J];地理与地理信息科学;2003年06期
4 赵鸣,吴晓红;CORBA在异构数据库集成上的应用研究[J];现代电子技术;2003年20期
5 李生琦,徐福缘,徐莹;一种结构化数据和半结构化数据的统一集成模型[J];计算机工程与应用;2004年15期
6 赵虎,李萍,于林丽,孟丽霞,濮育麒,居滋培;过程控制集成实验系统[J];仪器仪表学报;2005年S2期
7 李蕴;段婕;;论高校科研管理中的价值导向管理[J];研究与发展管理;2007年05期
8 唐少辉;;基于单元模型的CAx集成研究[J];机械设计;2009年09期
9 陈亢;冯屹朝;王勇;裴俐春;;基于环境可视化的视景仿真[J];信息技术;2010年07期
10 ;方集成荣膺鼎桥2010年度“最佳贡献奖”[J];电子测试;2011年03期
11 刘理天,谢会开,费圭甫;硅杯型集成压力传感器的研制[J];仪表技术与传感器;1994年01期
12 赵丕锡 ,王芳;用ACCESS开发视频图象数据库[J];中国计算机用户;1996年23期
13 左旭,陈军,卫原平,阮雪榆;塑性成形CAE/CAD系统集成的实践[J];锻压机械;1998年04期
14 林蓉;CIMS信息集成平台研究[J];情报科学;1999年03期
15 胡华,高济,何志均;基于主动规则对象的分布式多数据库系统集成[J];小型微型计算机系统;1999年07期
16 李祥,袁国华,周雄辉,阮雪榆;基于集成的协同设计冲突消解系统研究[J];计算机集成制造系统-CIMS;2000年04期
17 黄襄念,程萍,彭健,杨波;一个联机识别自然手写汉字的多分类器集成系统[J];中文信息学报;2000年05期
18 邵新宇,王丰锦,蔡力钢,李培根;基于WebOLTP的PDM与Web集成系统[J];机械与电子;2000年06期
19 李爱梅;论校园信息系统建设中的应用系统集成[J];教育信息化;2000年09期
20 吴伏家,王感苍;CAPP的研究和发展[J];华北工学院学报;2001年06期
中国重要会议论文全文数据库 前10条
1 赵方;谢友柏;柏子游;;油液分析多技术集成的特征描述与信息融合[A];第六届全国摩擦学学术会议论文集(上册)[C];1997年
2 岳瑞峰;刘理天;李志坚;;集成MOS力敏运放压力传感器的设计与研究[A];2000全国力学量传感器及测试、计量学术交流会论文集[C];2000年
3 吴泽兵;;石油钻头并行工程中仿真软件的集成[A];2001系统仿真技术及其应用学术会议论文集[C];2001年
4 王鹏程;王珂;朱宝泉;;注塑模CAD/CAM与CAE系统的集成[A];2000年冀晋蒙豫鲁鄂六省区机械工程学会学术研讨会论文集(内蒙古部分)[C];2000年
5 赵虎;李萍;于林丽;孟丽霞;濮育麒;居滋培;;过程控制集成实验系统[A];第七届青年学术会议论文集[C];2005年
6 刘彭涛;李志新;;首钢大型转炉技术装备的集成创新[A];第七届(2009)中国钢铁年会论文集(下)[C];2009年
7 嵇晓宇;郝志明;莫军;孙乐;王柯颖;;面向对象有限元分析平台数值解法器构件化设计与集成方法研究[A];中国力学学会学术大会'2009论文摘要集[C];2009年
8 文强;邹希云;莫松柏;杨晓琳;刘电英;彭杰彪;;利用T213和ECMWF数值预报产品作本地暴雨落区概率预报[A];中国气象学会2007年年会天气预报预警和影响评估技术分会场论文集[C];2007年
9 冯柳平;刘华群;;数字指纹在电子文档保护中的应用[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
10 冯志强;何力健;;茂名分公司炼油生产执行系统集成需求探讨[A];节能环保 和谐发展——2007中国科协年会论文集(一)[C];2007年
中国博士学位论文全文数据库 前10条
1 吴元奇;作物抗病虫性稳定性评价模型研究[D];浙江大学;2001年
2 陶晓燕;基于支持向量机和流形学习的分类方法研究[D];西安电子科技大学;2008年
3 唐跃中;数字化电网若干关键技术研究[D];浙江大学;2010年
4 邹淑雪;基于支持向量机的蛋白质结构域预测方法研究[D];吉林大学;2009年
5 廖志芳;大肠早癌辅助诊断数据挖掘方法研究[D];中南大学;2008年
6 夏德;面向大规模定制的供应链机理与运作研究[D];武汉理工大学;2005年
7 郭彩芬;生产物流系统在制品库存控制技术研究[D];南京航空航天大学;2005年
8 喻红阳;网络组织集成及其机制研究[D];武汉理工大学;2005年
9 史丽萍;基于链管理的大规模定制运营管理系统研究[D];哈尔滨工程大学;2004年
10 黄志珍;农田土壤氮素平衡动态模拟模型研制与SISNDB信息系统开发[D];浙江大学;2005年
中国硕士学位论文全文数据库 前10条
1 王义;基于Ensemble技术的非平衡数据挖掘[D];西北农林科技大学;2010年
2 余俊灵;基于非平衡数据集聚类案例推理的企业失败预警[D];浙江师范大学;2012年
3 兰睿欣;基于PDM/ERP集成的制造业信息系统研究[D];四川大学;2005年
4 邓严;基于VRML的远程监控技术研究[D];华中科技大学;2005年
5 马小方;构筑于AIS-ECDIS技术集成的海上安全信息系统的设计与实现[D];上海海事大学;2004年
6 周娜;基于Web Services的防震减灾信息系统集成技术的研究[D];中国地震局地质研究所;2005年
7 丁保中;虚拟企业信息共享机制在服装行业中的应用研究[D];上海交通大学;2007年
8 卓秋明;炼钢连铸热轧生产调度系统的实现[D];太原科技大学;2008年
9 张萍;CMOS集成温度传感器的研究与设计[D];西安电子科技大学;2009年
10 陶海冰;GIS平台下的滑坡中抗滑桩一体化设计[D];浙江工业大学;2005年
中国重要报纸全文数据库 前10条
1 记者 钱秀丽;今年全力以赴做好五项重点工作[N];中国海洋报;2010年
2 记者 朱夕子;商业规划师何雨生日本设计师小川浩史加盟集成[N];中国纺织报;2009年
3 安向琦 赵鲜娜;从“孤岛”走向集成[N];中国航空报;2010年
4 本报记者 宋斌斌;研发设计信息化:新时期工业企业创新的源泉[N];中国工业报;2009年
5 证券时报记者 黄婷;宝钢股份自主集成冷轧产线在梅钢投产[N];证券时报;2009年
6 见习记者 石俊;成飞集成缘何成为“第一妖股”[N];中华工商时报;2010年
7 本报记者 同黎娜;集成控股收购日本设计公司始末[N];中国服饰报;2009年
8 ;在MCU中集成模拟和安全技术[N];中国电子报;2009年
9 吴绵;以顾客为中心森歌巡检集成灶[N];中国质量报;2009年
10 本报记者 林铭铭;成飞集成暴涨:讲不完的“锂电”故事?[N];21世纪经济报道;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978