收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于截断协方差矩阵的高维稀疏判别分析

万亚丽  
【摘要】:近年来,随着互联网等科学技术的飞速发展,在社会调研、基因生命科学等领域每天都会收集到海量的数据,如何从如此多的数据中提取出有用的信息已经成为人们面临的新挑战。在这种需求下,数据挖掘技术应用而生。分类作为数据挖掘技术的一个重要分支,在图像分类、行为模式识别等领域中有着极其重要的应用。目前,如何利用已知样本的信息来有效分类的研究与应用已经引起了学术界的关注。但是随着数据维数的增大,甚至出现维数p大于训练样本的个数n的现象,现在人们称之为“大p小n”,使得之前的一些经典的判别方法如距离判别、Bayes判别、Fisher判别已经不再适用,因此需要学者更深入的理论分析。事实上,关于高维稀疏数据的判别方法也已经有很多,例如独立判别法(IR)、 Feature Annealed Independence Rule (FAIR)、Nearest Shrunken Centriods Classifier (NSCC)等。这些判别方法都是在Bayes判别法基础上改进了参数估计的方法或者加入了t-检验统计量进行变量选择。然而,这些方法在估计总体协方差矩阵时只使用了特性方差的信息,忽略了特性间的相关性,使得判别效果在一些情况下不理想。本文主要利用基于截断协方差矩阵的方法,对高维稀疏数据进行分类研究。首先,将经典的Bayes判别与截断协方差矩阵的方法相结合,提出了一种新的基于截断协方差矩阵的高维稀疏数据的判别分析方法:利用高维协方差矩阵的稀疏性,使用硬阀值对样本协方差矩阵进行截断,这样不仅考虑了所有特性的方差,还考虑了相关性较大的特性间的协方差、将相关性较小或者为零的忽略,使得协方差矩阵估计与真实值更接近,从而提高判别效果。然后,从理论上给出了截断协方差矩阵判别方法错判率,同时利用数值实验加以验证。实验过程中,利用5-fold Cross-Validation准则,选择使得错判比例的平均值最小的截断阀值作为硬阀值。一方面对来自三种不同形式协方差矩阵的模拟数据进行判别分析,同时又与其他判别方法(Bayes判别法和独立判别法)比较100次模拟结果的均值与标准差。另一方面又对真实数据进行实例分析,真实案例是关于某银行客户信用问题的分类,实验的目的是判别客户是否讲信用。比较三种判别方法的判别结果,从而体现我们提出的判别方法的优越性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 宁忠磊;王宏琦;张正;;一种基于协方差矩阵的自动目标检测方法[J];中国科学院研究生院学报;2010年03期
2 吴翩翩;;基于区域协方差矩阵的模板更新方法分析与比较[J];科技广场;2010年01期
3 胡玉成;;基于协方差矩阵递推的故障诊断[J];杭州电子科技大学学报;2010年06期
4 段松传;韩彦芳;徐伯庆;;基于协方差矩阵的复杂背景中目标检测[J];无线电通信技术;2012年04期
5 刘廷进;张建华;;实验数据的协方差构造[J];中国原子能科学研究院年报;1991年00期
6 郭佳佳;廖桂生;杨志伟;杜文韬;;利用广义内积值迭代加权的空时协方差矩阵估计方法[J];电子与信息学报;2014年02期
7 赵益民,鞠德航;协方差矩阵的权微扰算法[J];电子学报;1996年03期
8 时艳玲;;相干积累检测器中协方差矩阵估计的新算法[J];电波科学学报;2014年02期
9 管学伟;刘先志;罗镇宝;;基于区域协方差矩阵的目标跟踪方法[J];红外技术;2009年02期
10 纪华;王大伟;赵建;韩广良;王延杰;;协方差矩阵在目标二维姿态测量中的应用[J];光学精密工程;2009年11期
11 寿向晨;刘浩杰;;基于协方差矩阵的运动目标跟踪方法研究[J];电气自动化;2012年02期
12 罗续成;协方差矩阵的对称分块表示及其应用[J];控制理论与应用;1987年04期
13 李少军;李立仁;刘忠领;朱振福;;基于区域协方差矩阵的末制导目标跟踪[J];激光与红外;2010年03期
14 顾新锋;简涛;何友;郝晓琳;;协方差矩阵结构的广义近似最大似然估计[J];应用科学学报;2013年06期
15 黄亚飞;梁昔明;陈义雄;;求解全局优化问题的正交协方差矩阵自适应进化策略算法[J];计算机应用;2012年04期
16 张大海;杨坤德;;协方差矩阵加权波束形成及应用[J];计算机仿真;2006年12期
17 李晓明;冯大政;夏宇垠;;基于重构协方差矩阵空时二维杂波抑制方法[J];系统工程与电子技术;2008年12期
18 杨元喜,张双成;导航解算中的系统误差及其协方差矩阵拟合[J];测绘学报;2004年03期
19 白兴宇;杨德森;赵春晖;;声矢量阵远程定向技术(一)——新的协方差矩阵生成方法[J];信号处理;2006年03期
20 王大伟;朱娟;孙宏海;王延杰;;时频域混合的融合多特征协方差矩阵目标识别算法[J];微电子学与计算机;2010年03期
中国重要会议论文全文数据库 前5条
1 张大海;杨坤德;雷波;马远良;;基于协方差矩阵加权的波束形成的应用研究[A];中国声学学会2006年全国声学学术会议论文集[C];2006年
2 王露;马远良;;基于协方差矩阵实部消除的DOA估计方法[A];中国声学学会第十届青年学术会议论文集[C];2013年
3 孙伟平;向杰;廖红虹;周敬利;;基于GPU的协方差矩阵粒子滤波算法[A];第七届和谐人机环境联合学术会议(HHME2011)论文集【oral】[C];2011年
4 邱志平;;区间随机本征正交分解方法[A];中国力学大会——2013论文摘要集[C];2013年
5 苗良;平西建;丁益洪;王卫东;;立体赤足迹的图像校准与特征描述[A];第十二届全国信号处理学术年会(CCSP-2005)论文集[C];2005年
中国博士学位论文全文数据库 前4条
1 王首彬;基于协方差矩阵流形的风电机组齿轮箱故障诊断方法研究[D];哈尔滨工业大学;2014年
2 王励励;协方差矩阵的谱分析及其应用[D];浙江大学;2014年
3 王成;大维数据的总体协方差矩阵研究[D];中国科学技术大学;2013年
4 许林;高维协方差矩阵结构检验[D];东北师范大学;2014年
中国硕士学位论文全文数据库 前10条
1 史清响;L型阵列相干信号DOA估计研究[D];天津理工大学;2015年
2 奚春红;一种基于Shiryaev-Roberts过程的检测多元协方差矩阵的控制图[D];辽宁大学;2015年
3 李欢;高维两总体协方差矩阵相等检验[D];东北师范大学;2015年
4 万亚丽;基于截断协方差矩阵的高维稀疏判别分析[D];华北电力大学;2015年
5 疏祝鋆;高频资产协方差矩阵的预测及其在投资组合中的应用[D];西南财经大学;2014年
6 孙琦;基于协方差矩阵的目标跟踪方法[D];黑龙江大学;2012年
7 郭佳佳;非均匀环境下协方差矩阵估计方法研究[D];西安电子科技大学;2014年
8 麦碧莹;高维协方差矩阵的相等性检验[D];浙江大学;2012年
9 张杰;基于协方差矩阵的稳健目标匹配算法研究[D];燕山大学;2012年
10 张云;微分流形上基于MeanShift算法的协方差矩阵聚类[D];燕山大学;2011年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978