基于粗糙集的数据及文本挖掘方法研究

【摘要】：数据挖掘和文本挖掘是当前信息技术中的一个重要研究领域;将软计算方法之一的粗糙集理论应用于数据及文本挖掘方法研究,具有较大的理论意义和实用价值。本文研究了基于粗糙集的数据挖掘和文本挖掘方法,主要包括数据挖掘和文本挖掘中的属性约简问题、聚类问题;文本挖掘中的分类规则抽取问题;以及粗糙集同模糊集相结合的数据挖掘方法。所做主要工作内容包括: 将粗集和遗传算法相结合成功应用于文本模糊聚类。在聚类过程中,将权重参数的设定也通过编码由遗传算法确定,从而使得权重参数的设定具有科学性和可操作性。 给出了近似规则的定义,并对χ~2值的意义进行了讨论。在此基础上提出了一种将特征选取和粗集方法相结合的文本分类规则抽取方法。该方法大大提高了文本规则抽取的效率,并使其更趋实用化。 对相关文献中隶属函数的定义进行了改进,并且利用隶属函数的性质提出了一种从定量决策表转换为定性决策表的转换规则,利用此转换规则可以将原来的定量决策表转换为一个同样大小的定性决策表,这样大大减少了后面利用粗集理论进行规则抽取的计算量,而且提取的规则质量也有了很大提高。 将模式聚合理论和潜在语义索引理论相结合,提出了一种文本降维新方法。它首先用PA理论对文本特征进行初步降维,在此基础上利用LSI方法对文本特征进一步降维,抽取隐藏在文本中的主要语义信息。 提出了一种改进的基于粗集和Tabu搜索的属性约简算法。改进后的算法既具有较高的算法效率,又能以较大的概率得到最小属性约简。 提出了基于知识简洁度的粗集聚类方法,它首先计算对象集合在每个属性下的划分;然后在对初始划分进行合并时,引进了不可分辨度的概念;在形成最终聚类结果时,引进了知识简洁度作为凝聚的终止条件。 将基于次胜对手惩罚的竞争学习算法应用于文本聚类,这种方法既能自动确定聚类的数目,又具有较好的算法复杂度。