收藏本站
《江苏大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

基于粗糙集的中文文本分类算法研究及应用

张保富  
【摘要】: 随着网络技术的迅速发展,网络上的信息量急剧增加。如何对这些在线文档进行有效的组织和高效的管理,成为人们迫切需要解决的问题。文本分类也成为解决该问题的一项关键技术。文本分类是文本挖掘的一个重要分支,因其独特的知识发现功能而得到较为深入的研究。文本分类技术已经在信息过滤、检索技术、数字图书馆服务等领域得到了广泛的应用,具有广泛的应用前景。 粗糙集理论能处理模糊和不确定性知识,它不要任何先验信息,就可以有效的分析和处理不完备、不一致、不精确的数据,使知识可以用数学的方法来分析处理,并从中发现隐含的知识,揭示潜在的规律。其主要思想是在不影响分类精度的前提下降低特征向量的维数,得到最简的分类规则。 本文主要对基于粗糙集理论的文本自动分类算法进行了系统的研究,以及将该算法应用在公安情报分类系统中。具体的研究内容概括如下: (1)介绍文本分类的相关技术,并对一些常用文本分类算法进行了详细的分析和比较。 (2)针对传统TFIDF方法将文档集作为整体来处理,并没有考虑到特征项在类间和类内的分布情况的不足。提出了一种结合信息熵的TFIDF文本特征权重计算的改进方法。该方法采用特征项在类间和类内信息分布熵来调整TFIDF方法,从而使特征项的权重更加合理。 (3)针对传统基于频率阈值过滤的特征选择方法会导致有效信息丢失,影响分类精度的不足,提出了一种新的基于粗糙集理论的属性约简文本自动分类算法。该方法首先对加权后的特征属性进行离散化,建立一个决策表;然后根据基于依赖度的属性重要度对决策表中条件属性进行适当的筛选;最后采用基于条件信息熵的启发式算法实现文本属性特征的约简。 (4)将文中提出的基于信息熵改进的TFIDF特征权重计算方法和基于粗糙集理论文本分类算法应用到具体的公安情报分类子系统中。实际应用表明该系统能提高了情报处理的效率和正确性。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 王明春,王正欧,张楷,郝玺龙;一种基于CHI值特征选取的粗糙集文本分类规则抽取方法[J];计算机应用;2005年05期
2 孙荣宗;苗夺谦;卫志华;李文;;基于粗糙集的快速KNN文本分类算法[J];计算机工程;2010年24期
3 孟庆春,王汉萍,魏天滨,葛艳,高云;一种基于粗糙集的文本分类规则抽取方法[J];青岛海洋大学学报(自然科学版);2003年06期
4 王斌;朴顺姬;邵华清;;基于粗糙集的KNN的WEB文本分类的研究[J];数字技术与应用;2011年08期
5 刘科;;基于KNN算法的文本分类[J];科技经济市场;2009年06期
6 何绍荣;朱颢东;;GA在特征选择中的应用与设计研究[J];计算机工程与应用;2010年27期
7 王海涌;郑丽英;;基于粗糙集理论文本分类规则的优化方法[J];甘肃科学学报;2008年02期
8 周顽;周才学;;基于扩展概念格模型的文本分类规则提取的研究[J];计算机工程与科学;2010年08期
9 朱颢东;钟勇;;基于粗糙集与泛系等价算子的特征选择[J];计算机工程;2010年19期
10 史岳鹏;张明慧;朱颢东;;新的结合互信息和粗糙集的特征选择[J];计算机工程与应用;2011年16期
11 付雪峰,王明文;基于模糊-粗糙集的文本分类方法[J];华南理工大学学报(自然科学版);2004年S1期
12 李钝,梁吉业;利用聚类和粗糙集进行文本分类研究[J];计算机工程与应用;2003年07期
13 宋志辉;;一种改进的特征选择方法[J];贵州教育学院学报;2009年06期
14 张薇娟;张桂芸;;基于模糊认知图的文本分类模型研究[J];天津科技;2007年04期
15 吴波;;网络环境下文本自动分类方法研究综述[J];鸡西大学学报;2009年05期
16 王煜,张明,马力;基于词条聚合和决策树的文本分类方法[J];河北大学学报(自然科学版);2005年03期
17 靳小波;夏清国;;基于Lee模型的文本分类[J];计算机工程;2006年02期
18 施聪莺;徐朝军;杨晓江;;TFIDF算法研究综述[J];计算机应用;2009年S1期
19 朱颢东;钟勇;;基于优化的文档频和粗糙集的特征选择方法[J];湖南师范大学自然科学学报;2009年03期
20 武旭,须德;基于向量空间模型的文本自动分类系统的研究与实现[J];北方交通大学学报;2003年02期
中国重要会议论文全文数据库 前10条
1 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
4 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 商炳章;白清源;;基于特征项权重改进的关联文本分类[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
6 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
7 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
8 王小华;陆蓓;张国煊;;文本自动分类的模糊方法[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
9 庞剑锋;程学旗;;反馈方法在文本分类系统中的应用[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
10 贾会强;刘晓丽;于洪志;;基于词性特征提取的藏文文本分类方法研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
中国重要报纸全文数据库 前10条
1 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
2 ;栉风沐雨铸辉煌 继往开来谱华章[N];人民邮电;2006年
3 高利华;传承陆游风骨 推进国际交流[N];人民日报海外版;2005年
4 林木树;反垃圾邮件有待新突破[N];人民邮电;2004年
5 王玮 蔡莲红;数据挖掘走入语音处理[N];计算机世界;2001年
6 希安;微软试水信息检索[N];经济日报;2004年
7 王培森;从Web挖到竞争情报[N];中国计算机报;2003年
8 应晓敏 窦文华;技术架构[N];计算机世界;2003年
9 本报记者 李智 通讯员 梁宪生;零的突破[N];山西经济日报;2001年
10 李磊;让电子政务更聪明[N];计算机世界;2001年
中国博士学位论文全文数据库 前10条
1 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
2 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
3 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
4 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
5 张国军;基于粗糙集的相对属性约简算法及决策方法研究[D];华中科技大学;2010年
6 马君华;粗糙集属性约简和聚类算法及其在电力自动化中的应用研究[D];华中科技大学;2010年
7 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
8 杨习贝;不完备信息系统中粗糙集理论研究[D];南京理工大学;2010年
9 平源;基于支持向量机的聚类及文本分类研究[D];北京邮电大学;2012年
10 纪霞;不完备信息系统中粗糙集理论的扩展研究与应用[D];安徽大学;2010年
中国硕士学位论文全文数据库 前10条
1 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
2 张玉杰;基于偏斜数据集的中文文本分类问题的改进特征权重算法研究[D];东北师范大学;2010年
3 崔彩霞;基于支持向量机的文本分类方法研究[D];山西大学;2005年
4 闫晨;KNN文本分类研究[D];燕山大学;2010年
5 赵小华;KNN文本分类中特征词权重算法的研究[D];太原理工大学;2010年
6 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
7 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
8 苏小康;基于维基百科构建语义知识库及其在文本分类领域的应用研究[D];华中师范大学;2010年
9 李璇;基于坐标下降法的半监督学习算法及其在文本分类中的应用[D];华南理工大学;2010年
10 宋志理;基于LDA模型的文本分类研究[D];西安理工大学;2010年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978