收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

文本分类中特征选择算法的分析与研究

张彪  
【摘要】: 自动文本分类是对大量的半结构化、无结构化的未知类别文本(文本文档、网页等)按照给定的分类体系,根据文本内容划分到指定的类别中的过程。由于文本数据的半结构化、无结构化的特点,当文本使用特征向量表示的时候,特征向量通常会达到几万维甚至于几十万维,给文本分类带来了很不利的影响。如果直接在这样一个高维特征空间上进行分类器的训练和分类,会带来两个问题:一是很多低维空间具有良好性能的统计分类器在计算上变得低效不可行;二是训练样本(训练文本集的个数)一定的前提下,过多的特征使得样本统计的估计变得非常困难,从而降低统计分类器的推广能力和泛化能力,呈现所谓的"过学习"或"过训练"的现象。因此寻求一种有效的维数约简方法,降低特征空间的维数,提高分类的效率和精度,成为文本自动分类中至关重要的问题。 维数约简是将高维空间映射到一个小得多的低维空间,同时希望该低维空间一方面能尽可能多的保留原始数据中的重要信息,另一方面又能有效地把原始信息中的噪音、冗余数据过滤掉。维数约简技术分为两类,分别是特征选择、特征重构。特征选择是依据某个准则在原始特征集合中挑选出有利于学习算法的特征,去掉那些冗余的、与类别不相关的特征。特征重构是由原始特征集合创建新的特征集合,使得新创建的特征集合远远小于原始的特征集合。由于特征选择具有速度快,适合处理于大规模数据集的特点,因此本文主要在特征选择方面开展了一些工作,提出了两种特征选择算法:基于互信息的相关性特征选择方法和基于关联分析的特征选择方法。 基于互信息的相关性特征选择方法不仅计算了特征与类别的相关度,也考虑了特征之间的相关度。文中采用了改进后的互信息来最为相关性的量化指标来衡量特征与特征、特征与类别间的相关性,从而在最大程度保留原始空间信息的目的下,尽可能地剔除掉不相关的、冗余的特征。在试验中将文本分类中常用的特征选择方法IG、CHI作为参照的基准,从实验结果中可以看到我们提出的算法是很有效的一种特征选择方法。 基于关联分析的特征选择方法主要考虑了特征之间存在的关联关系,传统的特征选择算法则没有考虑这样的联系。算法首先对特征词之间的关联关系进行挖掘,找出那些对类别有重要影响的特征词组,这些特征词组中的每个单词在传统单独打分策略的特征选择算法中很可能会因分值过低而被丢弃;然后根据这样的关联词组对已打分排序的特征集合重新排序,使得对分类具有重要影响的特征不会因低估而被丢弃。在Ruters21578、20Newsgroup文本数据集上的实验结果表明该方法是一种有特点、有效的特征选择方法。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 李云,叶春晓,李季,刘嘉敏,吴中福;基于特征关联性的特征选择算法研究[J];微型机与应用;2004年06期
2 万忠;张燕平;张铃;陈洁;张晨希;张迎春;;基于覆盖算法决策界的特征选择算法[J];计算机技术与发展;2006年04期
3 麦范金;李东普;岳晓光;;基于双向匹配法和特征选择算法的中文分词技术研究[J];昆明理工大学学报(自然科学版);2011年01期
4 卜华龙;夏静;韩俊波;;特征选择算法综述及进展研究[J];巢湖学院学报;2008年06期
5 刘伟;张凤荔;程红蓉;万明成;;改进ReliefF算法在图像型垃圾邮件检测中的应用研究[J];计算机应用研究;2009年09期
6 ;[J];;年期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
11 ;[J];;年期
12 ;[J];;年期
13 ;[J];;年期
14 ;[J];;年期
15 ;[J];;年期
16 ;[J];;年期
17 ;[J];;年期
18 ;[J];;年期
19 ;[J];;年期
20 ;[J];;年期
中国博士学位论文全文数据库 前1条
1 李云;特征选择算法及其在基于内容图像检索中的应用研究[D];重庆大学;2005年
中国硕士学位论文全文数据库 前2条
1 李晓红;中文文本分类技术研究[D];兰州理工大学;2009年
2 张杰慧;特征选择算法研究及其在孤立肺结节诊断中的应用[D];重庆大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978