收藏本站
《吉林大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

基于信息熵的特征选择算法研究

刘华文  
【摘要】: 随着新技术的不断出现,现实中数据集朝着大规模方向发展,并呈现样本少、维数高等特点,这给传统的数据分类学习带来了巨大的挑战,其中冗余特征的存在间接加重这种不利影响。因此,如何从高维数据中剔除冗余或无关的特征,以避免维灾难问题,使得传统学习算法仍然能在高维数据上进行学习训练是目前人们面临的一道难题。特征选择就是在这种情况下提出的,它主要是指从数据的原始特征中选择一个最优特征子集,使得它包含原始特征的全部或大部分分类信息的过程。目前,特征选择是数据挖掘、统计模式识别和机器学习等领域的重要研究课题之一,在实际情况中也得到了广泛的应用。 本文首先介绍数据挖掘中的分类问题,然后阐述特征选择问题的研究现状和研究热点等,并重点讨论信息度量标准。然后针对数据中冗余特征的消除问题,以信息理论中信息熵和互信息为基础,围绕如何度量特征之间相关性这一主体,开展了一系列的研究工作,以解决不同的数据分类预测问题。本文主要贡献和研究内容包括以下几个方面: 1).根据数据挖掘中层次聚类算法的思想,提出了一种新的Filter特征选择算法ISFS。这种算法采用互信息和关联系数分别表示特征间的“类间距离”和“类内距离”,并依据层次聚类分析思想选择重要特征,以保证选择的特征子集具有最小的冗余性和最大的相关性,从而最终提高分类性能; 2).针对现有特征选择算法中不同的信息度量标准,给出了一种泛化表示形式,并详细讨论该形式与其他信息标准之间的关系。此外,针对现有选择算法中互信息估值不准确的问题,提出了动态互信息的概念,以准确描述特征之间的相关性。在此基础上,还提出了基于动态互信息(DMIFS)和条件动态互信息(CDMI)这两种新的特征选择算法,以克服传统互信息选择算法的缺点,即不能准确反映选择过程中相关性的动态变化问题; 3).针对现有特征选择算法中数据样本权重不变的问题,利用数据抽样技术,提出一种新的Boosting特征选择算法框架,以描述数据样本的重要性程度在特征选择过程中是不断发生变化的,从而避免了动态互信息对噪声数据比较敏感的问题。另外,还讨论了该选择算法框架中其他的相关问题,如样本权重更新方式和误差函数等; 4).针对生物信息学中基因表达数据的样本少、维数高的特点,根据基因(即特征)之间的相似性,利用信息相关系数和近似Markov blanket技术对基因进行相似性分组,并结合集成学习技术,提出一种集成的基因选择算法EGSG,以最终提高分类模型的识别诊断能力。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前6条
1 曹瑛;;特征选择算法在层次分类中的比较研究[J];数字技术与应用;2010年05期
2 李云,叶春晓,李季,刘嘉敏,吴中福;基于特征关联性的特征选择算法研究[J];微型机与应用;2004年06期
3 万忠;张燕平;张铃;陈洁;张晨希;张迎春;;基于覆盖算法决策界的特征选择算法[J];计算机技术与发展;2006年04期
4 麦范金;李东普;岳晓光;;基于双向匹配法和特征选择算法的中文分词技术研究[J];昆明理工大学学报(自然科学版);2011年01期
5 卜华龙;夏静;韩俊波;;特征选择算法综述及进展研究[J];巢湖学院学报;2008年06期
6 刘伟;张凤荔;程红蓉;万明成;;改进ReliefF算法在图像型垃圾邮件检测中的应用研究[J];计算机应用研究;2009年09期
中国博士学位论文全文数据库 前2条
1 张靖;面向高维小样本数据的分类特征选择算法研究[D];合肥工业大学;2014年
2 李云;特征选择算法及其在基于内容图像检索中的应用研究[D];重庆大学;2005年
中国硕士学位论文全文数据库 前4条
1 汪荆琪;基于多视角的半监督特征选择算法研究[D];中国科学技术大学;2014年
2 张辰;基于肿瘤危险因素的特征选择算法的研究与实现[D];吉林大学;2014年
3 李晓红;中文文本分类技术研究[D];兰州理工大学;2009年
4 张杰慧;特征选择算法研究及其在孤立肺结节诊断中的应用[D];重庆大学;2007年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978