收藏本站
《中国海洋大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

最大相关最小冗余的无监督特征选择算法的研究及其应用

刘荣烨  
【摘要】: 随着现实世界很多无标签和高维度数据集的广泛出现,如文本、图像和基因数据等,无监督特征选择方法的研究和应用成为了当前的一个研究热点,在对无标签数据集的处理上体现了它难以替代的重要地位。 本文对无监督特征选择展开初步的研究和探讨,并对过滤式无监督特征选择进行深入的研究。过滤式特征选择的挑战在于如何定义不相关和冗余特征[1],从过滤式无监督特征选择的这两个挑战和研究现状来看,其存在的不足之处是:(1)对冗余特征的定义,从特征归约和特征聚类角度考虑。而特征归约的方法(PCA、ICA)得到的是特征的转换,无法得到原始的特征子集,可解读性不强;对特征用k均值进行相似性聚类,k值的不确定性和聚类算法的不稳定性给冗余特征的删除带来困难。(2)只从去除不相关或冗余特征的角度进行过滤式特征选择,使得到的特征子集不满足最大相关和最小冗余的要求,而不相关和冗余特征往往会降低聚类的性能。 因此,本文针对过滤式无监督特征选择的以上不足,借鉴有监督学习中删除冗余特征的思想和集成聚类思想,从统计学和集成聚类两个角度,研究无监督特征选择中删除冗余特征的方法。并将这两个删除冗余特征的方法与只考虑相关特征重要性排序的拉普拉斯算法相结合,设计出两个同时考虑不相关和冗余特征删除的最大相关和最小冗余的无监督特征选择算法LS-CORR (Laplasian Score and Correlation)和LS-EC(Laplasican Score and Ensemble Clustering)。在标准UCI数据集和人工数据集上,本文对LS-CORR和LS-EC算法分别进行了实验。实验结果表明这两个算法都能较好地处理无关和冗余特征较多的数据,得到维度较小的特征子集,且提高了数据集的聚类准确性。LS-CORR算法与LS-EC算法相比,LS-CORR算法删除冗余特征过程较简单,根据特征间的相关程度能快速地删除冗余特征;LS-EC算法通过聚类结果从簇与特征和特征与特征间的相关和冗余来综合考虑噪声特征的删除,得到了更小更优的特征子集。但LS-EC算法在集成聚类上降低了算法的效率,适合样本规模较少的数据。 而后,本文将拉普拉斯和LS-CORR无监督特征选择算法应用于烟叶致香成分分析中,从烟叶致香成分数据的本质属性和分布分析其关键致香成分。并通过实验,与现有方法对比,说明这两种无监督特征选择算法应用于烤烟烟叶致香成分研究中的有效性、实用性和现实指导意义。 本文最后对研究工作进行了总结,并指出了今后进一步的研究方向。
【学位授予单位】:中国海洋大学
【学位级别】:硕士
【学位授予年份】:2010
【分类号】:TP181

手机知网App
【引证文献】
中国期刊全文数据库 前1条
1 李亚红;王素格;李德玉;;使用多元语义特征的评论文本主题聚类[J];计算机工程与应用;2013年02期
【参考文献】
中国期刊全文数据库 前10条
1 李章海;王能如;王东胜;朱显灵;徐增汉;周慧玲;;烤烟香气指数的建立及其与烟叶质量特征的关系[J];安徽农业科学;2007年04期
2 徐峻岭;徐宝文;张卫丰;崔自峰;;一种启发式聚类特征选择方法(英文)[J];Journal of Southeast University(English Edition);2006年02期
3 张丽新,王家廞,赵雁南,杨泽红;基于Relief的组合式特征选择[J];复旦学报(自然科学版);2004年05期
4 周冀衡,杨虹琦,林桂华,杨述元;不同烤烟产区烟叶中主要挥发性香气物质的研究[J];湖南农业大学学报(自然科学版);2004年01期
5 王娟,慈林林,姚康泽;特征选择方法综述[J];计算机工程与科学;2005年12期
6 任江涛;黄焕宇;孙婧昊;印鉴;;基于相关性分析及遗传算法的高维数据特征选择[J];计算机应用;2006年06期
7 张莉,孙钢,郭军;基于K-均值聚类的无监督的特征选择方法[J];计算机应用研究;2005年03期
8 周宇;覃征;;聚类分析中特征选择的研究[J];计算机应用研究;2006年05期
9 毛勇;周晓波;夏铮;尹征;孙优贤;;特征选择算法研究综述[J];模式识别与人工智能;2007年02期
10 凌霄汉;吉根林;;一种基于聚类集成的无监督特征选择方法[J];南京师范大学学报(工程技术版);2007年03期
【共引文献】
中国期刊全文数据库 前10条
1 王全凤;郑浩;;基于径向基函数神经网络的高层建筑结构选型[J];四川建筑科学研究;2010年05期
2 张建国,聂俊华,杜振宇;复合生物有机肥对烤烟生长、产量及品质的影响[J];山东农业科学;2004年02期
3 张根耀,李竹林,赵宗涛;遮挡情况下运动目标的跟踪[J];安徽大学学报(自然科学版);2003年03期
4 杜珊;吴寅初;姚忠达;;烟草中游离烟碱水萃取体系定量分析方法[J];安徽大学学报(自然科学版);2006年05期
5 陈弋兰;王鸣;孙书诚;;朴素贝叶斯分类器的误差估计[J];安徽工程科技学院学报(自然科学版);2008年04期
6 谭宏祥;程传玲;赵桂铭;潘文亮;张峻松;;河南烤烟中多元酸和高级脂肪酸的分析研究[J];安徽农学通报;2008年05期
7 钟波;朱列书;谢慧玲;贺鹏;林跃平;;不同追肥次数对烤烟生长发育及化学成分的影响[J];安徽农学通报;2008年09期
8 张林;祖朝龙;徐经年;刘碧荣;;皖南烤烟密度留叶数的研究[J];安徽农学通报;2008年11期
9 武丽;徐晓燕;李章海;黄雅丽;宁井铭;;不同浓度组合生长调节物质对烤烟生长和品质的影响[J];安徽农学通报;2008年21期
10 舒云波;张建荣;马晓伟;张峻松;;超临界提取金银花挥发油及在卷烟中的应用[J];安徽农学通报;2008年22期
【同被引文献】
中国期刊全文数据库 前10条
1 李春生;陈光辉;;基于最大信息压缩指标与层次分析法的电力负荷组合预测模型[J];电力科学与技术学报;2008年01期
2 周铭;梁钢;;高通量分析技术在肿瘤MDR中的研究进展[J];国际肿瘤学杂志;2006年12期
3 蒋玉娇;王晓丹;王文军;毕凯;;一种基于PCA和ReliefF的特征选择方法[J];计算机工程与应用;2010年26期
4 栾丽华,吉根林;决策树分类技术研究[J];计算机工程;2004年09期
5 贾焰;王永恒;杨树强;;基于本体论的文本挖掘技术综述[J];计算机应用;2006年09期
6 魏韡;向阳;陈千;;中文文本情感分析综述[J];计算机应用;2011年12期
7 张莉,孙钢,郭军;基于K-均值聚类的无监督的特征选择方法[J];计算机应用研究;2005年03期
8 唐慧丰;谭松波;程学旗;;基于监督学习的中文情感分类技术比较研究[J];中文信息学报;2007年06期
9 徐军;丁宇新;王晓龙;;使用机器学习方法进行新闻的情感自动分类[J];中文信息学报;2007年06期
10 姚天昉;程希文;徐飞玉;汉思·乌思克尔特;王睿;;文本意见挖掘综述[J];中文信息学报;2008年03期
【二级引证文献】
中国期刊全文数据库 前1条
1 苏红旗;聂金慧;曾志;;基于特征聚类的网络评论信息挖掘研究[J];信息网络安全;2013年12期
【二级参考文献】
中国期刊全文数据库 前10条
1 王筠;胡萝卜类色素及其应用[J];安徽化工;1997年01期
2 张正竹,施兆鹏,宛晓春;萜类物质与茶叶香气(综述)[J];安徽农业大学学报;2000年01期
3 夏涛,童启庆;茶叶香气前驱体研究进展[J];茶叶;1996年01期
4 游小清,李名君,杨亚军,王华夫;萜烯指数在茶品系间的表达[J];茶叶科学;1992年01期
5 钱忠良,王文军;不变矩目标特征描述误差分析和基于上层建筑不变矩的舰船识别[J];电子测量与仪器学报;1994年03期
6 陈伟,黄全康,杨云高,王春林,马欣;不同生态条件下初烤烟叶化学成分的变化[J];贵州农业科学;2002年06期
7 宫长荣,汪耀富,赵铭钦,赵会杰,林学梧;烟叶烘烤中变黄和定色条件对香气特征的影响[J];华北农学报;1996年03期
8 韩伟,沈霄凤,王云;信息系统的属性重要性度量及知识约简算法比较[J];华东师范大学学报(自然科学版);2004年03期
9 于金龙,李晓红,孙立新;连续属性值的整体离散化[J];哈尔滨工业大学学报;2000年03期
10 任永浩,陈建军, 马常力;不同根际pH值下烤烟香气化学成分的研究[J];华南农业大学学报;1994年01期
【相似文献】
中国期刊全文数据库 前10条
1 谭民,疏松桂;神经元网络前推选择算法及其在故障诊断中的应用[J];信息与控制;1991年03期
2 王磊;刘艳;;基于约束Laplacian分值的半监督特征选择算法[J];吉林大学学报(信息科学版);2010年04期
3 王博;贾焰;田李;;基于类标号扩展的半监督特征选择算法[J];计算机科学;2009年10期
4 陈红;郭躬德;;一种新的双重融合的半监督特征选择算法[J];小型微型计算机系统;2010年08期
5 刘涛,吴功宜,陈正;一种高效的用于文本聚类的无监督特征选择算法[J];计算机研究与发展;2005年03期
6 王涛,杨涛,潘泉,程咏梅,赵春晖;多摄像机环境下人脸最优视角选择算法[J];计算机工程与应用;2005年09期
7 叶菲;罗景青;俞志富;;基于中心距离比值准则的无监督特征选择算法[J];计算机工程与应用;2009年04期
8 张磊;基本路由选择算法的原理及实现[J];微计算机应用;1997年06期
9 潘峰,丁云飞,汪为农;基于逐级反向选择算法的入侵检测[J];上海交通大学学报;2005年04期
10 陈红;郭躬德;;基于空间覆盖的半监督特征选择方法[J];计算机工程与应用;2010年08期
中国重要会议论文全文数据库 前10条
1 张铮;胡社教;江萍;;基于EP模式的特征选择算法[A];2011中国仪器仪表与测控技术大会论文集[C];2011年
2 王广涛;宋擒豹;车蕊;;一种新的基于信息熵的属性选择算法[A];第26届中国数据库学术会议论文集(B辑)[C];2009年
3 邸晨旭;袁春;;基于统计的H.264可伸缩视频编码中增强层的快速模式选择算法[A];第六届和谐人机环境联合学术会议(HHME2010)、第19届全国多媒体学术会议(NCMT2010)、第6届全国人机交互学术会议(CHCI2010)、第5届全国普适计算学术会议(PCC2010)论文集[C];2010年
4 王玉生;田康生;徐毓;;基于目标估计协方差控制的多传感器管理算法[A];2003中国控制与决策学术年会论文集[C];2003年
5 汪滢;王琰;;一种H.264编码快速帧间模式选择算法的研究[A];第十五届全国图象图形学学术会议论文集[C];2010年
6 段智勇;张大方;张伟鹏;;一个新的基于网格Cactus应用的资源选择算法[A];第三届中国测试学术会议论文集[C];2004年
7 邵怀宗;邵龙;彭启琮;;多模态导航定位中星座选择算法[A];2009年通信理论与信号处理学术年会论文集[C];2009年
8 甄超;郑涛;许洁萍;;音乐流派分类中特征选择算法研究[A];第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集[C];2009年
9 苏永哲;;分布式MIMO系统中一种新的快速天线选择算法[A];2009年全国无线电应用与管理学术会议论文集[C];2009年
10 程坷飞;董慧颖;;一种足球机器人动态决策选择算法[A];马斯特杯2003年中国机器人大赛及研讨会论文集[C];2003年
中国重要报纸全文数据库 前10条
1 ;选择合适的数据挖掘算法[N];计算机世界;2007年
2 泰兴市河失镇中心小学 叶晓庆;浅谈口算训练的方法[N];成才导报.教育周刊;2007年
3 李宏;WLAN安全有解[N];中国计算机报;2002年
4 Novell;如何实现简单的安全合规?[N];网络世界;2011年
5 阮光尘朱元春;多层构建邮件免疫机能[N];中国计算机报;2007年
6 ;AT-SB4000系列模块化多层核心交换机[N];计算机世界;2003年
7 詹勇;高铁要坚定科学发展既定轨道[N];人民日报;2011年
8 李鹏;无线网状网扩展WLAN[N];中国计算机报;2005年
9 任绮年 蔡明;从IPv4到IPv6的过渡策略[N];计算机世界;2001年
10 六枝特区落别乡小学 姜时莲;关于小学数学应用题教学的思考与探索[N];六盘水日报;2008年
中国博士学位论文全文数据库 前10条
1 解志斌;MIMO系统的优化与天线选择算法的研究[D];东北大学;2009年
2 潘巍巍;故障严重程度识别的有序分类特征分析方法[D];哈尔滨工业大学;2013年
3 程红蓉;垃圾图像特征提取与选择研究[D];电子科技大学;2011年
4 陈绪君;协作分集与中继选择算法研究[D];华中师范大学;2011年
5 孙鑫;机器学习中特征选问题研究[D];吉林大学;2013年
6 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
7 贾会玲;异构无线网络中的接入选择与准入控制研究[D];浙江大学;2007年
8 王辉;可变模糊匹配阴性选择免疫算法研究[D];哈尔滨工程大学;2008年
9 徐加利;认知协作无线网络中的中继选择与协同资源配置理论研究[D];山东大学;2012年
10 兰鹏;MIMO系统下行链路天线与用户选择算法研究[D];山东大学;2009年
中国硕士学位论文全文数据库 前10条
1 刘荣烨;最大相关最小冗余的无监督特征选择算法的研究及其应用[D];中国海洋大学;2010年
2 王丰;异构网络选择算法研究[D];电子科技大学;2012年
3 高苏艳;集成特征选择算法的研究[D];南京邮电大学;2013年
4 孙琳;协作通信系统中的中继选择算法的研究[D];天津理工大学;2011年
5 崔春燕;组特征选择算法及其应用研究[D];南京师范大学;2013年
6 黄湖;泛在网下多终端多网络协同的接入网络选择算法[D];南京邮电大学;2013年
7 顾闻;基于D2D的中继选择算法研究[D];南京邮电大学;2013年
8 王宏宇;多用户MIMO系统下行链路用户选择算法研究[D];哈尔滨工业大学;2013年
9 夏秋璐;基于车载Ad Hoc网络的中继选择算法研究[D];北京邮电大学;2012年
10 张阳;基于资源栅格分配的异构无线网络节能接入选择算法研究[D];吉林大学;2013年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026