收藏本站
《重庆大学》 2003年
收藏 | 手机打开
二维码
手机客户端打开本文

Rough Set理论及其在数据挖掘中的应用研究

于洪  
【摘要】:Rough Set(又称Rough集、粗集、粗糙集)理论是二十世纪八十年代发展起来的一种处理不精确、不确定和模糊数据的新型数学工具,它能有效地从数据本身提供的信息中发现有效的、潜在的知识。近年来该理论成功地在机器学习、数据挖掘、智能数据分析等领域得到了广泛应用,受到了众多学者的重视,取得了较大的发展。 论文就Rough Set理论在数据挖掘中的应用所涉及到的一些关键技术问题进行了研究。 众所周知,在大型知识库中,经常存在大量的冗余数据。冗余数据的存在,不仅浪费储存空间,而且干扰了人们做出正确而简洁的决策。所谓知识约简,就是在保持知识库的分类或决策能力不变的情况下,删去其中不相关或次要的知识。论文从信息论的角度来研究信息系统的知识约简问题。 论文研究和讨论了Rough Set理论的代数表示和信息表示,并作了较全面、系统的比较和分析,并且发现一些规律:① 当决策表的条件属性增多时,决策属性集相对条件属性集的条件熵的变化规律呈非严格单调递减性;② 如果知识约简以决策表的核属性集为起点,那么在向约简结果中添加不能约简的非核条件属性时,决策属性集相对约简结果的条件熵的变化规律是单调递减的;③ 知识约简后决策表的条件熵等于初始决策表的条件熵。在上述规律的基础上,论文提出了两个新的基于Rough Set理论的启发式知识约简算法:CEBARKCC算法和CEBARKNC算法。然后,论文对CEBARKCC算法、CEBARKNC算法和基于互信息的知识约简算法(MIBARK算法)的时间复杂度从理论和实验上做了分析与比较,得到结论:若一个决策表的核值比较大,则CEBARKCC算法和MIBARK算法的效率要优于CEBARKNC算法;反之,则CEBARKNC算法的效率要优于CEBARKCC算法和MIBARK算法。并且,实验结果表明在大多数情况下,CEBARKCC算法和CEBARKNC算法能得到最小相对约简。 事实上,数据挖掘的许多对象信息是不断增加的,如客户信息、销售信息、生产信息、网络信息等。另一方面,许多系统要求实现实时在线处理,如入侵检测系统、邮件分析系统等。针对这些应用,论文对增量式的知识获取算法进行了研究。 论文讨论了在新增数据时,新数据(样本)与已有知识(即规则集M)的关 WP=6 系,对新样本的分类进行了新的定义。并且,发现在新增样本时属性约简及值约简的变化规律,得到三个定理。这些定理说明:① 当新增样本 与 匹配时,最小规则集保持不变,也就是说对于决策表最小化算法的两个步骤都不需重新计算;② 如果新样本 与 部分矛盾或类部分矛盾或类匹配,我们可以通过比较 与新增 前的论域U上各个样本在属性约简结果R的属性上的值是否相等来判断属性约简是否改变;③ 增加新样本 后的论域U’中属性约简保持不变时,U中与 不矛盾的样本之值约简保持不变。在这些定理的基础上,论文提出了一个新的基于Rough Set理论的增量式知识获取算法(IKAA算法)。并且从理论和实验上对新算法和传统的基于Rough Set理论的非增量式知识获取算法(NIKAA算法)在复杂度上做了分析与比较。研究表明:当新样本匹配时,IKAA算法运行时间在数量级上远小于NIKAA算法;当新样本是部分矛盾、类匹配、类部分矛盾,且R保持不变时,IKAA算法运行时间小于NIKAA算法运行时间;当新样本是部分矛盾、类匹配、类部分矛盾,且R变化时,IKAA算法运行时间略大于NIKAA算法运行时间;当新样本是完全矛盾、类完全矛盾时,IKAA算法运行时间略大于NIKAA算法运行时间。当然,考虑到不同种类的新增样本的比例,一般而言IKAA算法运行时间显然是小于NIKAA算法的运行时间。 基于Rough Set理论的应用研究较多,考虑到电子邮件过滤是当前研究的热点,论文拟用Rough Set理论来解决这个问题。从而提出并分析了电子邮件过滤系统的粗糙集模型;接着,依据电子邮件过滤系统的粗糙集模型,建立起相应的信息模型;然后,提出了基于Rough Set理论的针对个人用户的实时电子邮件过滤原型系统,并通过实验进行了验证。研究表明基于Rough Set理论的电子邮件过滤分析是可行的,是该理论在计算机网络信息安全领域具体应用的一次尝试。 目前,国际上围绕 Rough Set理论与应用出现了相应的软件支撑系统,如Rough Enough和 Rosetta等,我国在这方面的研究还处于起步阶段。为了更好地推动Rough Set理论的研究与应用,论文设计并开发了一个基于Rough Set理论的数据挖掘实验系统RSet,该系统成功地集成了数据挖掘和数据准备方面的功能,其完整性、协调性、可扩展性和效率性都较好。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 张新光,王建华;数据仓库信息处理技术研究[J];齐齐哈尔大学学报;2000年03期
2 丁纪云,蔡春娥;利用构造数据集评定数据挖掘过程的方法[J];湖南广播电视大学学报;2001年02期
3 任承业,罗伟其;校园信息系统中CRM与数据挖掘的结合和应用[J];计算机工程与应用;2003年13期
4 王艳;数据挖掘在数字图书馆中的应用[J];情报科学;2003年02期
5 邵红全,赵茜;用SQL Server2000实现数据挖掘的技术与策略[J];电脑开发与应用;2003年04期
6 耿庆鹏,卢子芳;利用数据挖掘技术实现对电信行业用户欺诈行为的预测[J];电信快报;2003年10期
7 蒋良孝,蔡之华;基于数据仓库的数据挖掘研究[J];计算技术与自动化;2003年03期
8 叶静,蔡之华;遥感图像中的数据挖掘应用概述[J];计算机与现代化;2003年10期
9 黄解军,万幼川,潘和平;银行客户关系管理与数据挖掘的应用[J];计算机工程与设计;2003年07期
10 崔强,朱卫东;基于数据挖掘的铁路机务段成本控制系统[J];铁路计算机应用;2003年01期
11 杨思春;基于数据仓库的数据挖掘技术分析研究[J];微机发展;2003年09期
12 汤效琴,戴汝源;数据挖掘中聚类分析的技术方法[J];微计算机信息;2003年01期
13 李月芳,孙俊;数据挖掘及其在电网故障诊断中的应用[J];农机化研究;2003年04期
14 陈勍;数据挖掘技术及其应用[J];医学信息;2004年04期
15 ;中国科学院数据挖掘与知识管理学术研讨会在京举行[J];管理评论;2004年07期
16 曾贞;数据挖掘在电子商务中的应用[J];甘肃农业;2004年07期
17 陈钟;基于DSO的数据挖掘应用[J];广西师范学院学报(自然科学版);2004年S1期
18 柯文德;一种基于数据挖掘的分布式入侵检测模型[J];计算机测量与控制;2004年08期
19 徐玲;基于案件综合信息分析挖掘的研究[J];广东公安科技;2004年01期
20 赵明清;蒋昌俊;陶树平;;基于等价相异度矩阵的聚类[J];计算机科学;2004年07期
中国重要会议论文全文数据库 前10条
1 郭学军;陈晓云;;粗集方法在数据挖掘中的应用[A];第十六届全国数据库学术会议论文集[C];1999年
2 徐慧;;基于Web的文献数据挖掘[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
3 孙迎;;医院信息的数据挖掘与方法研究[A];中华医学会第十次全国医学信息学术会议论文汇编[C];2004年
4 薛晓东;李海玲;;数据挖掘的客户关系管理应用[A];科技、工程与经济社会协调发展——河南省第四届青年学术年会论文集(下册)[C];2004年
5 郭建文;黄燕;印鉴;杨小波;梁兆辉;;建立中风病“阴阳类证”辨证规范的数据挖掘研究[A];中华医学会第十三次全国神经病学学术会议论文汇编[C];2010年
6 薛鲁华;张楠;;聚类分析在Web数据挖掘中的应用[A];北京市第十三次统计科学讨论会论文选编[C];2006年
7 朱扬勇;黄超;;基于多维模型的交互式数据挖掘框架[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
8 陈涛;胡学钢;陈秀美;;基于数据挖掘的教学质量评价体系分析[A];全国第21届计算机技术与应用学术会议(CACIS·2010)暨全国第2届安全关键技术与应用学术会议论文集[C];2010年
9 王星;谢邦昌;戴稳胜;;数据挖掘在保险业中的应用[A];北京市第十二次统计科学讨论会论文选编[C];2003年
10 郭建文;黄燕;印鉴;杨小波;梁兆辉;;建立中风病阴阳类证辨证规范的数据挖掘研究[A];2010中国医师协会中西医结合医师大会摘要集[C];2010年
中国重要报纸全文数据库 前10条
1 李开宇 黄建军 田长春;把“数据挖掘”作用发挥出来[N];中国国防报;2009年
2 华莱士;“数据挖掘”让银行赢利更多[N];国际金融报;2003年
3 记者 晏燕;数据挖掘让决策者告别“拍脑袋”[N];科技日报;2006年
4 □中国电信股份有限公司北京研究院 张舒博 □北京邮电大学计算机科学与技术学院 牛琨;走出数据挖掘的误区[N];人民邮电;2006年
5 张立明;数据挖掘之道[N];网络世界;2003年
6 中圣信息技术有限公司 李辉;数据挖掘在CRM中的作用[N];中国计算机报;2001年
7 田红生;数据挖掘在CRM中的应用[N];中国经济时报;2002年
8 王广宇;数据挖掘 加速银行CRM一体化[N];中国计算机报;2004年
9 周蓉蓉;数据挖掘需要点想像力[N];计算机世界;2004年
10 张舒博;数据挖掘 提升品牌的好帮手[N];首都建设报;2009年
中国博士学位论文全文数据库 前10条
1 孙丽;工艺知识管理及其若干关键技术研究[D];大连交通大学;2005年
2 胡志坤;复杂有色金属熔炼过程操作模式智能优化方法研究[D];中南大学;2005年
3 刘革平;基于数据挖掘的远程学习评价研究[D];西南师范大学;2005年
4 刘寨华;基于临床数据分析的病毒性心肌炎证候演变规律研究[D];黑龙江中医药大学;2006年
5 王川;基因芯片数据管理及数据挖掘[D];中国科学院研究生院(上海生命科学研究院);2004年
6 王涛;挖掘序列模式和结构化模式的精简集[D];华中科技大学;2006年
7 郭斯羽;动态数据中的数据挖掘研究[D];浙江大学;2002年
8 李旭升;贝叶斯网络分类模型研究及其在信用评估中的应用[D];西南交通大学;2007年
9 刘东升;面向连锁零售企业的客户关系管理模型(R-CRM)研究[D];浙江工商大学;2008年
10 余红;网络时政论坛舆论领袖研究[D];华中科技大学;2007年
中国硕士学位论文全文数据库 前10条
1 廖赛恩;养生方数据挖掘分析系统的研制[D];湖南中医药大学;2010年
2 李坤然;数据挖掘在股市趋势预测的应用研究[D];中南林业科技大学;2008年
3 郑宏;数据挖掘可视化技术的研究与实现[D];西安电子科技大学;2010年
4 杜金刚;数据挖掘在电信客户关系管理及数据业务营销中的应用[D];北京邮电大学;2010年
5 徐路;基于决策树的数据挖掘算法的研究及其在实际中的应用[D];电子科技大学;2009年
6 梁小鸥;数据挖掘在高职教学管理中的应用[D];华南理工大学;2011年
7 王浩;数据挖掘在上海市职业能力考试院招录考试优化管理项目中的运用研究[D];华东理工大学;2012年
8 黎卫英;数据挖掘在中职幼教课程改革中的应用[D];福建师范大学;2009年
9 张煜辉;数据挖掘和SPC在生产过程质量控制中应用研究[D];上海交通大学;2009年
10 刘华敏;数据挖掘在高职院校学生成绩分析中的应用[D];安徽大学;2011年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978