收藏本站
《江苏大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

基于粗糙集的中文文本分类算法研究及应用

张保富  
【摘要】: 随着网络技术的迅速发展,网络上的信息量急剧增加。如何对这些在线文档进行有效的组织和高效的管理,成为人们迫切需要解决的问题。文本分类也成为解决该问题的一项关键技术。文本分类是文本挖掘的一个重要分支,因其独特的知识发现功能而得到较为深入的研究。文本分类技术已经在信息过滤、检索技术、数字图书馆服务等领域得到了广泛的应用,具有广泛的应用前景。 粗糙集理论能处理模糊和不确定性知识,它不要任何先验信息,就可以有效的分析和处理不完备、不一致、不精确的数据,使知识可以用数学的方法来分析处理,并从中发现隐含的知识,揭示潜在的规律。其主要思想是在不影响分类精度的前提下降低特征向量的维数,得到最简的分类规则。 本文主要对基于粗糙集理论的文本自动分类算法进行了系统的研究,以及将该算法应用在公安情报分类系统中。具体的研究内容概括如下: (1)介绍文本分类的相关技术,并对一些常用文本分类算法进行了详细的分析和比较。 (2)针对传统TFIDF方法将文档集作为整体来处理,并没有考虑到特征项在类间和类内的分布情况的不足。提出了一种结合信息熵的TFIDF文本特征权重计算的改进方法。该方法采用特征项在类间和类内信息分布熵来调整TFIDF方法,从而使特征项的权重更加合理。 (3)针对传统基于频率阈值过滤的特征选择方法会导致有效信息丢失,影响分类精度的不足,提出了一种新的基于粗糙集理论的属性约简文本自动分类算法。该方法首先对加权后的特征属性进行离散化,建立一个决策表;然后根据基于依赖度的属性重要度对决策表中条件属性进行适当的筛选;最后采用基于条件信息熵的启发式算法实现文本属性特征的约简。 (4)将文中提出的基于信息熵改进的TFIDF特征权重计算方法和基于粗糙集理论文本分类算法应用到具体的公安情报分类子系统中。实际应用表明该系统能提高了情报处理的效率和正确性。
【学位授予单位】:江苏大学
【学位级别】:硕士
【学位授予年份】:2010
【分类号】:TP391.1

【引证文献】
中国硕士学位论文全文数据库 前4条
1 符会涛;基于互信息的文本自动分类特征选择方法研究[D];新疆大学;2011年
2 杨森;民生信息多分类系统研究与设计[D];山东科技大学;2011年
3 徐欣;基于粗糙集理论的文本分类研究[D];浙江理工大学;2011年
4 邹志鑫;基于优化的RS-BPNN的文本分类方法[D];南昌大学;2012年
【参考文献】
中国期刊全文数据库 前10条
1 朱靖波,陈文亮;基于领域知识的文本分类[J];东北大学学报;2005年08期
2 郭玉琴;袁方;刘海博;;基于模糊分类规则树的文本分类(英文)[J];Journal of Southeast University(English Edition);2008年03期
3 盛晓炜,江铭虎;基于Rough集约简算法的中文文本自动分类系统[J];电子与信息学报;2005年07期
4 张博锋;白冰;苏金树;;基于自训练EM算法的半监督文本分类[J];国防科技大学学报;2007年06期
5 李荣陆,王建会,陈晓云,陶晓鹏,胡运发;使用最大熵模型进行中文文本分类[J];计算机研究与发展;2005年01期
6 苗夺谦,胡桂荣;知识约简的一种启发式算法[J];计算机研究与发展;1999年06期
7 蓝海洋,周杰韩,张和明;文本索引词项相对权重计算方法与应用[J];计算机工程与应用;2003年15期
8 李志君;王国胤;吴渝;;基于Rough Set的电子邮件分类系统[J];计算机科学;2004年03期
9 刘少辉,盛秋戬,吴斌,史忠植,胡斐;Rough集高效算法的研究[J];计算机学报;2003年05期
10 鲁松,李晓黎,白硕,王实;文档中词语权重计算方法的改进[J];中文信息学报;2000年06期
【共引文献】
中国期刊全文数据库 前10条
1 徐文婷;李承鹏;;基于自适应遗传算法的离散化方法[J];合肥师范学院学报;2011年03期
2 蔡莉;胡学钢;;一种基于粗集的决策表求核算法[J];安徽大学学报(自然科学版);2007年06期
3 周玉华;李景杰;;不完备决策表的一种属性约简方法[J];安徽大学学报(自然科学版);2009年04期
4 杨萍,杨明;基于VPRS的重要属性评价方法研究[J];安徽工程科技学院学报(自然科学版);2003年01期
5 杨萍,万上海,陈耿;一种基于可变支持度的缺省规则挖掘算法[J];安徽工程科技学院学报(自然科学版);2004年02期
6 江效尧,胡林生;基于粗糙集的RDT决策树生成算法的研究及应用[J];安徽工程科技学院学报(自然科学版);2004年03期
7 孙全玲;基于粗集和神经网络的建模方法研究[J];安徽建筑工业学院学报(自然科学版);2005年02期
8 孙虹;方敏;;基于Rough集和RBF网络的车牌字符识别方法[J];安徽建筑工业学院学报(自然科学版);2006年04期
9 孙虹;;粗糙集神经网络系统在车牌字符识别中的研究[J];安徽建筑工业学院学报(自然科学版);2007年04期
10 孙虹;龚雪;;一种基于Rough集和RBF网络的模拟电路故障诊断方法[J];安徽建筑工业学院学报(自然科学版);2012年03期
中国重要会议论文全文数据库 前10条
1 危前进;董荣胜;孟瑜;崔更申;;基于粗糙集的机械装配知识发现方法[A];广西计算机学会25周年纪念会暨2011年学术年会论文集[C];2011年
2 ;Fuzziness in Covering Generalized Rough Sets[A];第二十六届中国控制会议论文集[C];2007年
3 李雄;党生;;基于Rough集理论的战场侦察情报处理[A];第二十六届中国控制会议论文集[C];2007年
4 王印松;冯康;;主汽温调节系统性能评价的粗糙集实现方法[A];第二十七届中国控制会议论文集[C];2008年
5 方炜炜;杨炳儒;彭珍;;一种基于粗糙集的启发式属性归约的新算法[A];第二十七届中国控制会议论文集[C];2008年
6 陈楚湘;沈建京;陈冰;尚长兴;王运成;;运用粗糙集理论建立中老年肺炎中医症候诊断标准[A];第二十九届中国控制会议论文集[C];2010年
7 龚锦红;杨辉;衷路生;;稀土萃取分离过程的Rough集案例推理方法[A];第二十九届中国控制会议论文集[C];2010年
8 ;Influence Diagram Based on Rough Set Theory[A];第二十九届中国控制会议论文集[C];2010年
9 ;The Prediction of Soil Moisture Based on Rough Set-Neural Network Model[A];第二十九届中国控制会议论文集[C];2010年
10 陈楚湘;沈建京;陈冰;尚长兴;王运成;;运用粗糙集理论和Apriori算法建立中医症候诊断标准[A];中国自动化学会控制理论专业委员会D卷[C];2011年
中国博士学位论文全文数据库 前10条
1 徐悦竹;机会发现算法及其应用研究[D];哈尔滨工程大学;2010年
2 殷志伟;基于统计学习理论的分类方法研究[D];哈尔滨工程大学;2009年
3 姜延吉;多传感器数据融合关键技术研究[D];哈尔滨工程大学;2010年
4 任家福;服务商选择与备件备品库存管理研究[D];电子科技大学;2010年
5 张目;高技术企业信用风险影响因素及评价方法研究[D];电子科技大学;2010年
6 苏煜;基于SCF范式的在线P300脑机接口研究[D];浙江大学;2010年
7 郭戈;数字视频语义信息提取与分析[D];解放军信息工程大学;2010年
8 温世亿;膨胀土渠坡若干关键技术问题研究[D];武汉大学;2010年
9 黄正行;临床过程分析与优化技术研究[D];浙江大学;2010年
10 戴小鹏;知识网格及其在农业生物灾害预警中关键技术研究[D];湖南农业大学;2010年
中国硕士学位论文全文数据库 前10条
1 樊敬川;Deep Web数据库的选择研究[D];河北大学;2009年
2 岳海鸥;基于Ajax和Soap Service的应用框架及实现方法研究[D];山东科技大学;2010年
3 杨新忠;基于案例的地理时空过程表达模型研究[D];山东科技大学;2010年
4 岳海亮;信息论在粗糙集连续属性离散化中的应用[D];辽宁师范大学;2010年
5 张晓冬;基于全矢谱的智能诊断技术研究[D];郑州大学;2010年
6 李昕哲;关系邻域系统的属性约简[D];郑州大学;2010年
7 刘琪;正态云模型模糊推理系统及其应用研究[D];郑州大学;2010年
8 王晓换;基于粗糙集和神经网络的故障诊断虚拟系统的研究[D];郑州大学;2010年
9 周霞;基于粗糙集的电子商务交易知识获取研究[D];哈尔滨工程大学;2010年
10 冯为军;基于粗糙集理论的数据挖掘算法的研究[D];哈尔滨工程大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 王国胤;刘静;胡峰;;基于断点辨别力的粗糙集离散化算法[J];重庆邮电大学学报(自然科学版);2009年03期
2 朱靖波,陈文亮;基于领域知识的文本分类[J];东北大学学报;2005年08期
3 郭玉琴;袁方;刘海博;;基于模糊分类规则树的文本分类(英文)[J];Journal of Southeast University(English Edition);2008年03期
4 宁慧;吕志龙;;中文文本分类中特征选择方法的研究[J];电脑知识与技术(学术交流);2007年21期
5 张博锋;白冰;苏金树;;基于自训练EM算法的半监督文本分类[J];国防科技大学学报;2007年06期
6 程泽凯,陆小艺;文本分类中的特征选择方法[J];安徽工业大学学报(自然科学版);2004年03期
7 桂海霞;孟祥瑞;;基于粗糙集与KNN的Web文本分类的研究[J];安徽理工大学学报(自然科学版);2008年04期
8 孔波;郑喜英;;支持向量机多类分类方法研究[J];河南教育学院学报(自然科学版);2010年02期
9 周水庚,关佶红,胡运发,周傲英;一个无需词典支持和切词处理的中文文档分类系统[J];计算机研究与发展;2001年07期
10 李荣陆,胡运发;基于密度的kNN文本分类器训练样本裁剪方法[J];计算机研究与发展;2004年04期
中国博士学位论文全文数据库 前7条
1 程军;基于统计的文本分类技术研究[D];中国科学院研究生院(文献情报中心);2003年
2 宋枫溪;自动文本分类若干基本问题研究[D];南京理工大学;2004年
3 薛德军;中文文本自动分类中的关键问题研究[D];清华大学;2004年
4 谭松波;高性能文本分类算法研究[D];中国科学院研究生院(计算技术研究所);2006年
5 杜卫锋;粗糙集理论在中文文本分类中的应用[D];西南交通大学;2006年
6 尚文倩;文本分类及其相关技术研究[D];北京交通大学;2007年
7 尹世群;Web文本分类关键技术研究[D];西南大学;2008年
中国硕士学位论文全文数据库 前10条
1 孙丽华;中文文本自动分类的研究[D];哈尔滨工程大学;2002年
2 汪传建;基于混合模型的文本分类的研究[D];东北大学;2005年
3 周志军;中文邮件分类系统的研究及其实现[D];苏州大学;2005年
4 杨柳;中文文本分类技术研究[D];河北大学;2006年
5 叶志刚;SVM在文本分类中的应用[D];哈尔滨工程大学;2006年
6 刘毅;基于粗糙集的文本分类技术研究[D];西南交通大学;2007年
7 王磊;基于信息熵的中文文本分类算法研究[D];西北师范大学;2007年
8 杨淑棉;粗糙集在文本分类系统中的应用研究[D];山东师范大学;2007年
9 袁晓曦;基于机器学习的中文文本自动分类的研究和应用[D];武汉理工大学;2007年
10 杨柯;基于关联规则的中文文本自动分类算法研究[D];重庆大学;2007年
【二级参考文献】
中国期刊全文数据库 前10条
1 朱靖波,姚天顺;文本内容主题的识别方法[J];东北大学学报;2002年05期
2 黄晓明;;对公安情报信息体系建设的几点思考[J];公安研究;2006年01期
3 潘丹,郑启伦;属性约简自寻优算法[J];计算机研究与发展;2001年08期
4 孙广玲,唐降龙;基于分层高斯混合模型的半监督学习算法[J];计算机研究与发展;2004年01期
5 李荣陆,胡运发;基于密度的kNN文本分类器训练样本裁剪方法[J];计算机研究与发展;2004年04期
6 王建会,王洪伟,申展,胡运发;一种实用高效的文本分类算法[J];计算机研究与发展;2005年01期
7 苗夺谦,胡桂荣;知识约简的一种启发式算法[J];计算机研究与发展;1999年06期
8 刘清;黄兆华;姚力文;;Rough集理论:现状与前景[J];计算机科学;1997年04期
9 王珏,王任,苗夺谦,郭萌,阮永韶,袁小红,赵凯;基于Rough Set理论的“数据浓缩”[J];计算机学报;1998年05期
10 刘少辉,盛秋戬,吴斌,史忠植,胡斐;Rough集高效算法的研究[J];计算机学报;2003年05期
【相似文献】
中国期刊全文数据库 前10条
1 王明春,王正欧,张楷,郝玺龙;一种基于CHI值特征选取的粗糙集文本分类规则抽取方法[J];计算机应用;2005年05期
2 孙荣宗;苗夺谦;卫志华;李文;;基于粗糙集的快速KNN文本分类算法[J];计算机工程;2010年24期
3 孟庆春,王汉萍,魏天滨,葛艳,高云;一种基于粗糙集的文本分类规则抽取方法[J];青岛海洋大学学报(自然科学版);2003年06期
4 王斌;朴顺姬;邵华清;;基于粗糙集的KNN的WEB文本分类的研究[J];数字技术与应用;2011年08期
5 刘科;;基于KNN算法的文本分类[J];科技经济市场;2009年06期
6 何绍荣;朱颢东;;GA在特征选择中的应用与设计研究[J];计算机工程与应用;2010年27期
7 王海涌;郑丽英;;基于粗糙集理论文本分类规则的优化方法[J];甘肃科学学报;2008年02期
8 周顽;周才学;;基于扩展概念格模型的文本分类规则提取的研究[J];计算机工程与科学;2010年08期
9 朱颢东;钟勇;;基于粗糙集与泛系等价算子的特征选择[J];计算机工程;2010年19期
10 史岳鹏;张明慧;朱颢东;;新的结合互信息和粗糙集的特征选择[J];计算机工程与应用;2011年16期
中国重要会议论文全文数据库 前10条
1 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
4 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 商炳章;白清源;;基于特征项权重改进的关联文本分类[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
6 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
7 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
8 王小华;陆蓓;张国煊;;文本自动分类的模糊方法[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
9 庞剑锋;程学旗;;反馈方法在文本分类系统中的应用[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
10 贾会强;刘晓丽;于洪志;;基于词性特征提取的藏文文本分类方法研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
中国重要报纸全文数据库 前10条
1 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
2 ;栉风沐雨铸辉煌 继往开来谱华章[N];人民邮电;2006年
3 高利华;传承陆游风骨 推进国际交流[N];人民日报海外版;2005年
4 林木树;反垃圾邮件有待新突破[N];人民邮电;2004年
5 王玮 蔡莲红;数据挖掘走入语音处理[N];计算机世界;2001年
6 希安;微软试水信息检索[N];经济日报;2004年
7 王培森;从Web挖到竞争情报[N];中国计算机报;2003年
8 应晓敏 窦文华;技术架构[N];计算机世界;2003年
9 本报记者 李智 通讯员 梁宪生;零的突破[N];山西经济日报;2001年
10 李磊;让电子政务更聪明[N];计算机世界;2001年
中国博士学位论文全文数据库 前10条
1 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
2 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
3 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
4 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
5 张国军;基于粗糙集的相对属性约简算法及决策方法研究[D];华中科技大学;2010年
6 马君华;粗糙集属性约简和聚类算法及其在电力自动化中的应用研究[D];华中科技大学;2010年
7 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
8 杨习贝;不完备信息系统中粗糙集理论研究[D];南京理工大学;2010年
9 平源;基于支持向量机的聚类及文本分类研究[D];北京邮电大学;2012年
10 纪霞;不完备信息系统中粗糙集理论的扩展研究与应用[D];安徽大学;2010年
中国硕士学位论文全文数据库 前10条
1 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
2 张玉杰;基于偏斜数据集的中文文本分类问题的改进特征权重算法研究[D];东北师范大学;2010年
3 崔彩霞;基于支持向量机的文本分类方法研究[D];山西大学;2005年
4 闫晨;KNN文本分类研究[D];燕山大学;2010年
5 赵小华;KNN文本分类中特征词权重算法的研究[D];太原理工大学;2010年
6 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
7 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
8 苏小康;基于维基百科构建语义知识库及其在文本分类领域的应用研究[D];华中师范大学;2010年
9 李璇;基于坐标下降法的半监督学习算法及其在文本分类中的应用[D];华南理工大学;2010年
10 宋志理;基于LDA模型的文本分类研究[D];西安理工大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026