基于粗糙集理论的知识发现在web文本挖掘上的应用研究

【摘要】： 本文提出了一种基于粗糙集理论的web文本分类模型，该模型从已分类的训练文本出发，建立一系列不同层次的文本分类子系统，利用Rough Set理论有效处理不精确、不确定、含糊信息的特性，对分类决策表进行属性约简，既有效降低了web文本的维度，又保持关键词集合中的信息。最后，推导出web文本分类的规则集。 有别于传统的对关键字频度进行累加的方法，本文提出了基于信息熵的文本关键词测度函数，通过对关键词函数值进行比较，获取对文本分类最具影响性的关键词序列；同时，针对Web上异质、非结构化信息的特点，该分类算法还考虑了超文本标记对关键词权值的影响。 为获取本文项目实验材料，以配合IR(Information retrieval)和IF(information filter)做仿真实验，我们编制了Web文本收集模型WebCrawler，该模型利用目前较流行的 Hits算法解析网络链接结构，从Internet上收集相关的web文本。 基于对所获实验材料的web文本分类实验，本文实现了相关的web文本挖掘算法，对提出的算法进行了实验分析。从实验结果看，基于粗糙集的web文本分类算法无论在分类精度、分类效率，还是知识的新颖程度方面，都比以往分类算法有明显提高；而且，这种技术是语言独立的。