收藏本站
《浙江理工大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

基于粗糙集理论的文本分类研究

徐欣  
【摘要】:随着网络与信息技术的发展,信息量急剧扩增,给人们的工作和生活带来了极大方便。人们在享受日益丰富的信息的同时,也被其所淹没,想要搜索自己感兴趣的信息或者管理这些信息都变得越来越困难,这是一个迫切需要解决的问题。自动文本分类技术可以很好的帮助人们解决这些问题。文本分类是当今信息检索和数据挖掘等领域的研究热点,其主要任务是在预先给定类别标记集合的情况下,根据文本的内容来判定其类别属性。目前文本分类已在信息的组织与管理、信息过滤、信息检索等方面都有重要应用。现在已有很多分类算法应用到文本分类领域,比如K近邻方法、朴素贝叶斯方法、决策树方法以及支持向量机方法等。 粗糙集理论是波兰华沙理工大学的坡那克(Pawlak)教授在1982年提出,这是一种分析不确定知识的强有力的数学工具。与目前常用的分类算法比较起来,将粗糙集理论应用到文本分类中具有以下优点:首先,粗糙集处理问题比较客观,不需要除所需处理的数据集合外的任何先验信息;其次,将粗糙集理论应用到文本分类可以在不影响分类精度的条件下降低特征向量的维数,并且可以得到显式表达的分类规则。 特征加权是文本分类中的重要步骤。本文通过深入分析粗糙集理论和逆文本频率加权方法,提出了一种基于粗糙集的特征加权方法。在粗糙集理论中,近似分类质量和近似分类精度可以在全局的角度去分析特征词对文本分类的作用,可以利于粗糙集的这些方法对特征词进行加权。不过这两个度量只是体现了全局的一种重要性,加权过程是对每个文档中的特征词进行加权,所以在处理过程中还要考虑到单个文本的特性。在本文中笔者认为如果某个特征词在一类文本中文本频次比较高,而在其他类的文本频率又比较低,则该特征词含有比较多的分类信息,应该赋予较大的权重。本文结合逆文本频率加权方法的思想,将词频、近似分类质量和近似分类精度结合起来构建了新的加权公式。 通过粗糙集的约简理论可以得到分类规则,但是在对新文本进行分类的过程中,经常遇到分类规则与新的对象不能很好匹配的情况。这主要是由于测试文本的多样性,通过对训练集的训练不能得到非常全面的分类规则。本文分析了常用的完全匹配与部分匹配方法,结合部分匹配与特征权重的思想,提出了一种基于权重的部分匹配方法,并实验证明应用新的基于权重的部分匹配方法可以改善规则匹配的正确率。 最后,对本文的工作进行了总结,指出了取得的成果与不足,并对下一步研究工作进行了展望。
【学位授予单位】:浙江理工大学
【学位级别】:硕士
【学位授予年份】:2011
【分类号】:TP391.1;TP18

【引证文献】
中国硕士学位论文全文数据库 前1条
1 赵露;基于用户特征的文件分类技术研究[D];大连海事大学;2013年
【参考文献】
中国期刊全文数据库 前10条
1 王国胤;刘静;胡峰;;基于断点辨别力的粗糙集离散化算法[J];重庆邮电大学学报(自然科学版);2009年03期
2 李钝,梁吉业;利用聚类和粗糙集进行文本分类研究[J];计算机工程与应用;2003年07期
3 蓝海洋,周杰韩,张和明;文本索引词项相对权重计算方法与应用[J];计算机工程与应用;2003年15期
4 张雪英;刘凤玉;Jurgen Krause;;粗糙集分类算法中的近似决策规则和规则匹配方法[J];计算机科学;2005年06期
5 张著英;黄玉龙;王翰虎;;一个高效的KNN分类算法[J];计算机科学;2008年03期
6 王国胤;姚一豫;于洪;;粗糙集理论与应用研究综述[J];计算机学报;2009年07期
7 周钦强,孙炳达,王义;文本自动分类系统文本预处理方法的研究[J];计算机应用研究;2005年02期
8 刘静,尹存燕,陈家骏;一种规则和贝叶斯方法相结合的文本自动分类策略[J];计算机应用研究;2005年07期
9 刘业政;焦宁;姜元春;;连续属性离散化算法比较研究[J];计算机应用研究;2007年09期
10 卢娇丽,郑家恒;基于粗糙集的文本分类方法研究[J];中文信息学报;2005年02期
中国博士学位论文全文数据库 前3条
1 宋枫溪;自动文本分类若干基本问题研究[D];南京理工大学;2004年
2 薛德军;中文文本自动分类中的关键问题研究[D];清华大学;2004年
3 杜卫锋;粗糙集理论在中文文本分类中的应用[D];西南交通大学;2006年
中国硕士学位论文全文数据库 前3条
1 刘毅;基于粗糙集的文本分类技术研究[D];西南交通大学;2007年
2 张俊丽;文本分类中的关键技术研究[D];华中师范大学;2008年
3 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
【共引文献】
中国期刊全文数据库 前10条
1 于海涛;Rough集理论在数据约简中的应用[J];安徽教育学院学报;2004年03期
2 徐文婷;李承鹏;;基于自适应遗传算法的离散化方法[J];合肥师范学院学报;2011年03期
3 程家兴,钱付兰;粗糙集方法在基于属性分类中的应用[J];安徽大学学报(自然科学版);2005年01期
4 蔡莉;胡学钢;;一种基于粗集的决策表求核算法[J];安徽大学学报(自然科学版);2007年06期
5 周玉华;李景杰;;不完备决策表的一种属性约简方法[J];安徽大学学报(自然科学版);2009年04期
6 王永梅;胡学钢;;决策树中ID3算法的研究[J];安徽大学学报(自然科学版);2011年03期
7 杨萍,万上海,陈耿;一种基于可变支持度的缺省规则挖掘算法[J];安徽工程科技学院学报(自然科学版);2004年02期
8 江效尧,胡林生;基于粗糙集的RDT决策树生成算法的研究及应用[J];安徽工程科技学院学报(自然科学版);2004年03期
9 叶明全;;数据挖掘在医疗数据中的应用[J];安徽工程科技学院学报(自然科学版);2007年03期
10 孙全玲;基于粗集和神经网络的建模方法研究[J];安徽建筑工业学院学报(自然科学版);2005年02期
中国重要会议论文全文数据库 前10条
1 叶红云;倪志伟;陈恩红;;一种混合型集成学习演化决策树算法[A];2005年“数字安徽”博士科技论坛论文集[C];2005年
2 危前进;董荣胜;孟瑜;崔更申;;基于粗糙集的机械装配知识发现方法[A];广西计算机学会25周年纪念会暨2011年学术年会论文集[C];2011年
3 ;Fuzziness in Covering Generalized Rough Sets[A];第二十六届中国控制会议论文集[C];2007年
4 李雄;党生;;基于Rough集理论的战场侦察情报处理[A];第二十六届中国控制会议论文集[C];2007年
5 王印松;冯康;;主汽温调节系统性能评价的粗糙集实现方法[A];第二十七届中国控制会议论文集[C];2008年
6 方炜炜;杨炳儒;彭珍;;一种基于粗糙集的启发式属性归约的新算法[A];第二十七届中国控制会议论文集[C];2008年
7 陈楚湘;沈建京;陈冰;尚长兴;王运成;;运用粗糙集理论建立中老年肺炎中医症候诊断标准[A];第二十九届中国控制会议论文集[C];2010年
8 龚锦红;杨辉;衷路生;;稀土萃取分离过程的Rough集案例推理方法[A];第二十九届中国控制会议论文集[C];2010年
9 ;Influence Diagram Based on Rough Set Theory[A];第二十九届中国控制会议论文集[C];2010年
10 ;The Prediction of Soil Moisture Based on Rough Set-Neural Network Model[A];第二十九届中国控制会议论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 殷志伟;基于统计学习理论的分类方法研究[D];哈尔滨工程大学;2009年
2 姜延吉;多传感器数据融合关键技术研究[D];哈尔滨工程大学;2010年
3 杨锦园;基于传感器管理的移动机器人融合算法研究[D];华中科技大学;2010年
4 张明;电能质量扰动相关问题研究[D];华中科技大学;2010年
5 任家福;服务商选择与备件备品库存管理研究[D];电子科技大学;2010年
6 张目;高技术企业信用风险影响因素及评价方法研究[D];电子科技大学;2010年
7 邓斌;B2C在线评论中的客户知识管理研究[D];电子科技大学;2010年
8 渠瑜;基于SVM的高不平衡分类技术研究及其在电信业的应用[D];浙江大学;2010年
9 苏煜;基于SCF范式的在线P300脑机接口研究[D];浙江大学;2010年
10 李炳龙;文档碎片取证关键技术研究[D];解放军信息工程大学;2007年
中国硕士学位论文全文数据库 前10条
1 王丽敬;地理案例的空间相似性计算[D];山东科技大学;2010年
2 吕万里;中文文本分类技术研究[D];山东科技大学;2010年
3 杨新忠;基于案例的地理时空过程表达模型研究[D];山东科技大学;2010年
4 岳海亮;信息论在粗糙集连续属性离散化中的应用[D];辽宁师范大学;2010年
5 张晓冬;基于全矢谱的智能诊断技术研究[D];郑州大学;2010年
6 李昕哲;关系邻域系统的属性约简[D];郑州大学;2010年
7 郭明;基于文本分类技术的文本情感倾向性研究[D];郑州大学;2010年
8 刘琪;正态云模型模糊推理系统及其应用研究[D];郑州大学;2010年
9 王晓换;基于粗糙集和神经网络的故障诊断虚拟系统的研究[D];郑州大学;2010年
10 左维松;规则和统计相结合的篇章情感倾向性分析研究[D];郑州大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 张宁,贾自艳,史忠植;使用KNN算法的文本分类[J];计算机工程;2005年08期
2 王明春,王正欧,张楷,郝玺龙;一种基于CHI值特征选取的粗糙集文本分类规则抽取方法[J];计算机应用;2005年05期
3 张雪英;Jürgen Krause;刘凤玉;;文本自动分类中的动态类别扩展研究[J];计算机应用研究;2007年05期
4 侯凡;周明全;耿国华;李杰;;基于粗糙集的文本分类方法在网络科技资源应用集成环境中的应用[J];计算机应用与软件;2009年03期
5 张东礼,汪东升,郑纬民;基于VSM的中文文本分类系统的设计与实现[J];清华大学学报(自然科学版);2003年09期
6 常犁云,263.net,王国胤,263.net,吴渝,263.net;一种基于Rough Set理论的属性约简及规则提取方法[J];软件学报;1999年11期
7 王国胤,何晓;一种不确定性条件下的自主式知识学习模型[J];软件学报;2003年06期
8 石峰,娄臻亮,张永清;一种改进的粗糙集属性约简启发式算法[J];上海交通大学学报;2002年04期
9 李海蓉;;基于概念向量空间的文档语义分类模型研究[J];图书情报工作;2011年24期
10 于洪,杨大春,吴中福;基于Rough set理论的增量式规则获取算法[J];小型微型计算机系统;2005年01期
中国博士学位论文全文数据库 前1条
1 傅俊元;中国建筑企业成长能力研究[D];北京交通大学;2008年
中国硕士学位论文全文数据库 前7条
1 杨涛;基于Rough集的数据约简研究[D];安徽大学;2005年
2 杨淑棉;粗糙集在文本分类系统中的应用研究[D];山东师范大学;2007年
3 孔晨妍;基于RSS聚合和本体检索的博客系统设计与实现[D];南京农业大学;2007年
4 王嘉树;基于Struts架构下的教学资源库的设计与实现[D];北京交通大学;2008年
5 宋丽平;文本分类中特征选择方法的研究[D];西安科技大学;2009年
6 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
7 田文颖;面向专业领域的文本特征提取技术研究[D];国防科学技术大学;2009年
【二级参考文献】
中国期刊全文数据库 前10条
1 胡方;黄建国;褚福照;;基于粗糙集的武器系统灰色关联评估模型[J];兵工学报;2008年02期
2 张俊丽;张帆;;KNN-FCM聚类算法在中文搜索引擎文本过滤中的应用[J];图书与情报;2007年04期
3 叶明全;胡学钢;;基于灰色关联度的粗集连续属性离散化算法[J];重庆邮电大学学报(自然科学版);2007年04期
4 朱靖波,陈文亮;基于领域知识的文本分类[J];东北大学学报;2005年08期
5 金连文,徐秉铮;手写体汉字识别中的一种新的特征提取方法——弹性网格方向分解特征[J];电路与系统学报;1997年03期
6 郭玉琴;袁方;刘海博;;基于模糊分类规则树的文本分类(英文)[J];Journal of Southeast University(English Edition);2008年03期
7 孙铁利;张妍;李晓微;;文本挖掘中特征降维方法比较研究[J];电脑知识与技术;2008年02期
8 匡乐红;徐林荣;刘宝琛;姚京成;;基于粗糙集原理的泥石流危险度区划指标选取方法[J];地质力学学报;2006年02期
9 刘宗田;属性最小约简的增量式算法[J];电子学报;1999年11期
10 叶东毅,陈昭炯;一个新的差别矩阵及其求核方法[J];电子学报;2002年07期
中国博士学位论文全文数据库 前7条
1 谭天乐;基于粗糙集的过程建模、控制与故障诊断[D];浙江大学;2003年
2 李仁璞;分类数据挖掘中若干基本问题的研究[D];天津大学;2003年
3 宋枫溪;自动文本分类若干基本问题研究[D];南京理工大学;2004年
4 薛德军;中文文本自动分类中的关键问题研究[D];清华大学;2004年
5 李荣陆;文本分类及其相关技术研究[D];复旦大学;2005年
6 孙建涛;Web挖掘中的降维和分类方法研究[D];清华大学;2005年
7 王煜;基于决策树和K最近邻算法的文本分类研究[D];天津大学;2006年
中国硕士学位论文全文数据库 前8条
1 胡丹;基于Rough Set的规则提取与粗—模糊神经网络研究[D];四川师范大学;2002年
2 刘泓;基于粗糙集理论的车牌识别系统的研究与实现[D];合肥工业大学;2003年
3 王汉萍;粗糙集理论在文本挖掘的分类算法中的应用研究[D];中国海洋大学;2003年
4 彭雅;文本分类算法及其应用研究[D];湖南大学;2004年
5 柳培林;基于向量空间模型的中文文本分类技术研究[D];大庆石油学院;2006年
6 王宇;基于TFIDF的文本分类算法研究[D];郑州大学;2006年
7 刘婷;中文自动分词法在全文检索中的研究及应用[D];南京航空航天大学;2007年
8 魏建;基于语义中心的KNN文本分类算法研究[D];南京理工大学;2007年
【相似文献】
中国期刊全文数据库 前10条
1 王明春,王正欧,张楷,郝玺龙;一种基于CHI值特征选取的粗糙集文本分类规则抽取方法[J];计算机应用;2005年05期
2 孙荣宗;苗夺谦;卫志华;李文;;基于粗糙集的快速KNN文本分类算法[J];计算机工程;2010年24期
3 孟庆春,王汉萍,魏天滨,葛艳,高云;一种基于粗糙集的文本分类规则抽取方法[J];青岛海洋大学学报(自然科学版);2003年06期
4 王斌;朴顺姬;邵华清;;基于粗糙集的KNN的WEB文本分类的研究[J];数字技术与应用;2011年08期
5 刘科;;基于KNN算法的文本分类[J];科技经济市场;2009年06期
6 朱颢东;钟勇;;基于粗糙集与泛系等价算子的特征选择[J];计算机工程;2010年19期
7 史岳鹏;张明慧;朱颢东;;新的结合互信息和粗糙集的特征选择[J];计算机工程与应用;2011年16期
8 何绍荣;朱颢东;;GA在特征选择中的应用与设计研究[J];计算机工程与应用;2010年27期
9 王海涌;郑丽英;;基于粗糙集理论文本分类规则的优化方法[J];甘肃科学学报;2008年02期
10 李钝,梁吉业;利用聚类和粗糙集进行文本分类研究[J];计算机工程与应用;2003年07期
中国重要会议论文全文数据库 前10条
1 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
4 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
6 王小华;陆蓓;张国煊;;文本自动分类的模糊方法[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
7 商炳章;白清源;;基于特征项权重改进的关联文本分类[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
8 贾会强;刘晓丽;于洪志;;基于词性特征提取的藏文文本分类方法研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
9 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
10 庞剑锋;程学旗;;反馈方法在文本分类系统中的应用[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
中国重要报纸全文数据库 前10条
1 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
2 高利华;传承陆游风骨 推进国际交流[N];人民日报海外版;2005年
3 ;栉风沐雨铸辉煌 继往开来谱华章[N];人民邮电;2006年
4 林木树;反垃圾邮件有待新突破[N];人民邮电;2004年
5 希安;微软试水信息检索[N];经济日报;2004年
6 王培森;从Web挖到竞争情报[N];中国计算机报;2003年
7 王玮 蔡莲红;数据挖掘走入语音处理[N];计算机世界;2001年
8 应晓敏 窦文华;技术架构[N];计算机世界;2003年
9 本报记者 胡珉琦;论文反抄袭软件被“攻克”[N];北京科技报;2011年
10 本报记者 李智 通讯员 梁宪生;零的突破[N];山西经济日报;2001年
中国博士学位论文全文数据库 前10条
1 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
2 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
3 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
4 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
5 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
6 平源;基于支持向量机的聚类及文本分类研究[D];北京邮电大学;2012年
7 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
8 万源;基于语义统计分析的网络舆情挖掘技术研究[D];武汉理工大学;2012年
9 杨杰明;文本分类中文本表示模型和特征选择算法研究[D];吉林大学;2013年
10 程军;基于统计的文本分类技术研究[D];中国科学院研究生院(文献情报中心);2003年
中国硕士学位论文全文数据库 前10条
1 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
2 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
3 闫晨;KNN文本分类研究[D];燕山大学;2010年
4 郭志毅;基于EM算法的半监督文本分类方法研究[D];重庆邮电大学;2010年
5 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
6 郭明;基于文本分类技术的文本情感倾向性研究[D];郑州大学;2010年
7 段江丽;基于SVM的文本分类系统中特征选择与权重计算算法的研究[D];太原理工大学;2011年
8 张玉杰;基于偏斜数据集的中文文本分类问题的改进特征权重算法研究[D];东北师范大学;2010年
9 赵小华;KNN文本分类中特征词权重算法的研究[D];太原理工大学;2010年
10 苏小康;基于维基百科构建语义知识库及其在文本分类领域的应用研究[D];华中师范大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026