收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于粗糙集的中文文本分类算法研究及应用

张保富  
【摘要】: 随着网络技术的迅速发展,网络上的信息量急剧增加。如何对这些在线文档进行有效的组织和高效的管理,成为人们迫切需要解决的问题。文本分类也成为解决该问题的一项关键技术。文本分类是文本挖掘的一个重要分支,因其独特的知识发现功能而得到较为深入的研究。文本分类技术已经在信息过滤、检索技术、数字图书馆服务等领域得到了广泛的应用,具有广泛的应用前景。 粗糙集理论能处理模糊和不确定性知识,它不要任何先验信息,就可以有效的分析和处理不完备、不一致、不精确的数据,使知识可以用数学的方法来分析处理,并从中发现隐含的知识,揭示潜在的规律。其主要思想是在不影响分类精度的前提下降低特征向量的维数,得到最简的分类规则。 本文主要对基于粗糙集理论的文本自动分类算法进行了系统的研究,以及将该算法应用在公安情报分类系统中。具体的研究内容概括如下: (1)介绍文本分类的相关技术,并对一些常用文本分类算法进行了详细的分析和比较。 (2)针对传统TFIDF方法将文档集作为整体来处理,并没有考虑到特征项在类间和类内的分布情况的不足。提出了一种结合信息熵的TFIDF文本特征权重计算的改进方法。该方法采用特征项在类间和类内信息分布熵来调整TFIDF方法,从而使特征项的权重更加合理。 (3)针对传统基于频率阈值过滤的特征选择方法会导致有效信息丢失,影响分类精度的不足,提出了一种新的基于粗糙集理论的属性约简文本自动分类算法。该方法首先对加权后的特征属性进行离散化,建立一个决策表;然后根据基于依赖度的属性重要度对决策表中条件属性进行适当的筛选;最后采用基于条件信息熵的启发式算法实现文本属性特征的约简。 (4)将文中提出的基于信息熵改进的TFIDF特征权重计算方法和基于粗糙集理论文本分类算法应用到具体的公安情报分类子系统中。实际应用表明该系统能提高了情报处理的效率和正确性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 陈世清,唐志航,肖建华;基于粗糙集联系度的数据挖掘算法及应用研究[J];计算机应用;2004年06期
2 杨晓平,徐优红,许金权;考试成绩分析的粗糙集方法[J];浙江海洋学院学报(自然科学版);2002年04期
3 刘燕,张学庆,杨绍国;一种基于粗糙集分类的图像压缩方法[J];物探化探计算技术;2002年02期
4 蒋加伏,刁洪祥,唐贤瑛;一种基于粗糙集分类的图像增强方法[J];计算机工程与应用;2003年19期
5 冯志鹏,宋希庚,薛冬新;基于粗糙集与神经网络集成的内燃机故障诊断[J];内燃机学报;2003年01期
6 游凤荷,黄樟灿,孙砚飞,毛天祥;粗糙集的约简算法在涡流传感器设计中的应用[J];无损检测;2003年03期
7 石金彦,黄士涛,雷文平;粗糙集与决策树结合诊断故障的数据挖掘方法[J];郑州大学学报(工学版);2003年01期
8 魏彩乔,焦满囤;基于粗糙集的绿色度评价方法及实现技术[J];计算技术与自动化;2004年03期
9 王萍;粗糙集理论及其应用进展[J];南京工业职业技术学院学报;2004年03期
10 张连华,张冠华,张洁,白英彩;基于粗糙集分类的网络入侵检测[J];上海交通大学学报;2004年S1期
11 时希杰,沈睿芳,吴育华;基于粗糙集理论的研究生招生预测[J];微计算机应用;2005年01期
12 刘发升,杨炳儒;一种基于粗糙集的多层次、逐步求精的发掘算法[J];计算机工程与应用;1999年05期
13 王卫平,李熙亚,左远志;基于粗糙集的数控机床故障诊断最小化方法[J];组合机床与自动化加工技术;2001年02期
14 许中卫,李龙澍;基于粗糙集理论的数据挖掘算法研究[J];微机发展;2001年01期
15 邓方安,武多义;关于粗糙集的若干注记(Ⅰ)——粗糙集与Stone代数[J];汉中师范学院学报;2002年06期
16 郝丽娜,王伟,吴光宇,王宛山;粗糙集-神经网络故障诊断方法研究[J];东北大学学报(自然科学版);2003年03期
17 董广军,范永弘,罗睿;基于粗糙集理论的遥感影像分类研究[J];计算机工程与应用;2003年13期
18 宋余庆,罗永刚,孙志挥;应用主分量分析与粗糙集处理的特征提取[J];计算机工程与应用;2004年22期
19 刘发升,杨惠;一种带松弛因子的统计粗糙集挖掘算法[J];计算机应用;2004年08期
20 江效尧,胡林生;基于粗糙集的RDT决策树生成算法的研究及应用[J];安徽工程科技学院学报(自然科学版);2004年03期
中国重要会议论文全文数据库 前10条
1 肖健梅;芦晓明;王锡淮;;集装箱起重机防摇系统粗糙集控制[A];第二十六届中国控制会议论文集[C];2007年
2 李晓丽;王彤;杜振龙;;基于粗糙集理论的流数据最优特征选择[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 聂力;王翰虎;;一个基于粗糙集理论的分类规则学习算法[A];第十六届全国数据库学术会议论文集[C];1999年
4 王旭阳;王彤;李明;;基于粗糙集理论的分类规则挖掘方法[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
5 刘永红;薛青;郑长伟;;基于粗糙集理论的C4ISR评估方法[A];第13届中国系统仿真技术及其应用学术年会论文集[C];2011年
6 赵明清;陶树平;;基于模糊等价关系的粗糙集[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
7 葛丽;傅彦;;粗糙集在科学数据属性约简中的应用[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
8 陈楚湘;沈建京;陈冰;尚长兴;王运成;;运用粗糙集理论建立中老年肺炎中医症候诊断标准[A];第二十九届中国控制会议论文集[C];2010年
9 赵荣珍;杨娟;黄显华;;粗糙集理论的故障知识发现及其工程应用模式研究[A];第十二届全国设备故障诊断学术会议论文集[C];2010年
10 顾成杰;张顺颐;刘凯;黄河;;基于粗糙集和禁忌搜索的特征选择方法[A];江苏省电子学会2010年学术年会论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 张国军;基于粗糙集的相对属性约简算法及决策方法研究[D];华中科技大学;2010年
2 马君华;粗糙集属性约简和聚类算法及其在电力自动化中的应用研究[D];华中科技大学;2010年
3 杨习贝;不完备信息系统中粗糙集理论研究[D];南京理工大学;2010年
4 纪霞;不完备信息系统中粗糙集理论的扩展研究与应用[D];安徽大学;2010年
5 赵佰亭;混合决策系统的粗集模型及在转台故障诊断中的应用[D];哈尔滨工业大学;2010年
6 刘业政;基于粗糙集数据分析的智能决策支持系统研究[D];合肥工业大学;2002年
7 丛蓉;作战指挥决策支持系统目标融合识别研究[D];大连理工大学;2010年
8 哈斯巴干;神经网络及其组合算法的遥感数据分类研究[D];中国科学院研究生院(遥感应用研究所);2003年
9 刘洪波;汉语认知脑数据挖掘相关算法及应用研究[D];大连理工大学;2006年
10 王曙燕;医学图像智能分类算法研究[D];西北大学;2006年
中国硕士学位论文全文数据库 前10条
1 吕望;基于粗糙集的车辆超载自动检测方法研究[D];长沙理工大学;2010年
2 田静宜;基于粗糙集和神经网络的柴油机故障诊断研究[D];中北大学;2011年
3 于兴网;粗糙集属性约简算法在数据挖掘中的研究[D];重庆大学;2004年
4 雷明;基于粗糙集理论的决策表压缩[D];华北电力大学(北京);2010年
5 魏悦亮;粗糙集在数据挖掘不确定性问题中的研究[D];中国石油大学;2010年
6 袁晓娟;基于粒计算的双论域粗糙集模型研究[D];兰州大学;2010年
7 武金艳;粗糙集与证据理论在医疗智能诊断系统中的应用研究[D];湖南大学;2010年
8 穆海芳;基于粗糙集理论的故障诊断知识获取研究[D];合肥工业大学;2010年
9 李琴;基于粗糙集的商业智能决策的研究与应用[D];广东工业大学;2011年
10 张贤勇;粗糙集的数学基础研究与两个广义粗糙集模型的探讨[D];四川师范大学;2004年
中国重要报纸全文数据库 前6条
1 ;栉风沐雨铸辉煌 继往开来谱华章[N];人民邮电;2006年
2 王玮 蔡莲红;数据挖掘走入语音处理[N];计算机世界;2001年
3 本报记者 李智 通讯员 梁宪生;零的突破[N];山西经济日报;2001年
4 李磊;让电子政务更聪明[N];计算机世界;2001年
5 重庆邮电学院党委书记徐仲伟 院长 聂能;发挥学科优势 打造信息平台[N];科技日报;2005年
6 闫春龙 邱云龙;宣钢与北京工业大学共同申报发明专利[N];世界金属导报;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978