收藏本站
《中国科学技术大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

文本分类中特征选择算法的分析与研究

张彪  
【摘要】: 自动文本分类是对大量的半结构化、无结构化的未知类别文本(文本文档、网页等)按照给定的分类体系,根据文本内容划分到指定的类别中的过程。由于文本数据的半结构化、无结构化的特点,当文本使用特征向量表示的时候,特征向量通常会达到几万维甚至于几十万维,给文本分类带来了很不利的影响。如果直接在这样一个高维特征空间上进行分类器的训练和分类,会带来两个问题:一是很多低维空间具有良好性能的统计分类器在计算上变得低效不可行;二是训练样本(训练文本集的个数)一定的前提下,过多的特征使得样本统计的估计变得非常困难,从而降低统计分类器的推广能力和泛化能力,呈现所谓的"过学习"或"过训练"的现象。因此寻求一种有效的维数约简方法,降低特征空间的维数,提高分类的效率和精度,成为文本自动分类中至关重要的问题。 维数约简是将高维空间映射到一个小得多的低维空间,同时希望该低维空间一方面能尽可能多的保留原始数据中的重要信息,另一方面又能有效地把原始信息中的噪音、冗余数据过滤掉。维数约简技术分为两类,分别是特征选择、特征重构。特征选择是依据某个准则在原始特征集合中挑选出有利于学习算法的特征,去掉那些冗余的、与类别不相关的特征。特征重构是由原始特征集合创建新的特征集合,使得新创建的特征集合远远小于原始的特征集合。由于特征选择具有速度快,适合处理于大规模数据集的特点,因此本文主要在特征选择方面开展了一些工作,提出了两种特征选择算法:基于互信息的相关性特征选择方法和基于关联分析的特征选择方法。 基于互信息的相关性特征选择方法不仅计算了特征与类别的相关度,也考虑了特征之间的相关度。文中采用了改进后的互信息来最为相关性的量化指标来衡量特征与特征、特征与类别间的相关性,从而在最大程度保留原始空间信息的目的下,尽可能地剔除掉不相关的、冗余的特征。在试验中将文本分类中常用的特征选择方法IG、CHI作为参照的基准,从实验结果中可以看到我们提出的算法是很有效的一种特征选择方法。 基于关联分析的特征选择方法主要考虑了特征之间存在的关联关系,传统的特征选择算法则没有考虑这样的联系。算法首先对特征词之间的关联关系进行挖掘,找出那些对类别有重要影响的特征词组,这些特征词组中的每个单词在传统单独打分策略的特征选择算法中很可能会因分值过低而被丢弃;然后根据这样的关联词组对已打分排序的特征集合重新排序,使得对分类具有重要影响的特征不会因低估而被丢弃。在Ruters21578、20Newsgroup文本数据集上的实验结果表明该方法是一种有特点、有效的特征选择方法。
【学位授予单位】:中国科学技术大学
【学位级别】:硕士
【学位授予年份】:2010
【分类号】:TP391.1

【相似文献】
中国期刊全文数据库 前10条
1 高金勇;徐朝军;冯奕竸;;基于迭代的TFIDF在短文本分类中的应用[J];情报理论与实践;2011年06期
2 唐云;罗俊松;;基于粗糙集和BP神经网络的文本分类研究[J];计算机仿真;2011年06期
3 胥桂仙;向春丞;翁彧;赵小兵;杨国胜;;基于栏目的藏文网页文本自动分类方法[J];中文信息学报;2011年04期
4 张国梁;肖超锋;;基于SVM新闻文本分类的研究[J];电子技术;2011年08期
5 刘新生;厉锟;;基于BP神经网络的旅游突发事件文本分类系统的设计与实现[J];计算机与现代化;2011年07期
6 王斌;朴顺姬;邵华清;;基于粗糙集的KNN的WEB文本分类的研究[J];数字技术与应用;2011年08期
7 张春元;;基于条件随机场的文本分类模型[J];计算机技术与发展;2011年07期
8 卢志翔;蒙丽莉;;文本分类中特征项权重算法的改进[J];柳州师专学报;2011年04期
9 甄志龙;曾晓勤;韩立新;;文本分类中基于图模型的特征提取方法[J];情报科学;2011年08期
10 奉国和;;文本分类性能评价研究[J];情报杂志;2011年08期
中国重要会议论文全文数据库 前10条
1 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
4 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 商炳章;白清源;;基于特征项权重改进的关联文本分类[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
6 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
7 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
8 王小华;陆蓓;张国煊;;文本自动分类的模糊方法[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
9 庞剑锋;程学旗;;反馈方法在文本分类系统中的应用[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
10 贾会强;刘晓丽;于洪志;;基于词性特征提取的藏文文本分类方法研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
中国重要报纸全文数据库 前6条
1 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
2 高利华;传承陆游风骨 推进国际交流[N];人民日报海外版;2005年
3 林木树;反垃圾邮件有待新突破[N];人民邮电;2004年
4 希安;微软试水信息检索[N];经济日报;2004年
5 王培森;从Web挖到竞争情报[N];中国计算机报;2003年
6 应晓敏 窦文华;技术架构[N];计算机世界;2003年
中国博士学位论文全文数据库 前10条
1 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
2 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
3 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
4 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
5 祝翠玲;基于类别结构的文本层次分类方法研究[D];山东大学;2011年
6 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
7 于哲夫;一种新的特征选择方法及其在路面使用性能分析中的应用[D];大连海事大学;2011年
8 宋枫溪;自动文本分类若干基本问题研究[D];南京理工大学;2004年
9 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
10 平源;基于支持向量机的聚类及文本分类研究[D];北京邮电大学;2012年
中国硕士学位论文全文数据库 前10条
1 范小丽;文本分类中特征选择的研究与实现[D];西北大学;2011年
2 吕靖;互联网搜索词分类关键技术研究[D];浙江大学;2011年
3 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
4 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
5 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
6 闫晨;KNN文本分类研究[D];燕山大学;2010年
7 苏小康;基于维基百科构建语义知识库及其在文本分类领域的应用研究[D];华中师范大学;2010年
8 李璇;基于坐标下降法的半监督学习算法及其在文本分类中的应用[D];华南理工大学;2010年
9 宋志理;基于LDA模型的文本分类研究[D];西安理工大学;2010年
10 郭志毅;基于EM算法的半监督文本分类方法研究[D];重庆邮电大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026