收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

大维数据的总体协方差矩阵研究

王成  
【摘要】:在过去的二十年中,统计方向最热门的研究领域就是高维数据,通常被称为高维度,低样本个数的数据,或“大p,小n”数据,这里p是数据维度,n是样本大小。高维数据给传统的统计带来了巨大的挑战。其中最重要的一点就是,我们不能再像在经典统计分析中那样忽略了数据维度p的影响。 在多元统计分析中,协方差矩阵具有非常重要的作用且具有广泛的应用,例如,降维中的主成分分析(PCA),分类中线性或多项式判别分析(LDA和QDA),图模型中的独立性和条件独立关系研究,线性回归中参数估计的置信区间,Hottelling T2统计量,Markowitz均值-方差分析等等。本文中,我们将专注于大维样本协方差矩阵以下三方面的问题。 一,平稳时间序列中的总体协方差和样本协方差矩阵的极限谱分布研究。文章中,我们建立了一般的线性过程包括ARMA(p,q)过程的功率谱密度和极限谱分布函数之间的关系方程,并且得到了大维随机矩阵中的极限谱分布和时间序列中的功率谱密度函数之间的关系。特别的,我们分析了M-P率,ARMA(1,1)和m-相依模型,所有结果均可以延伸到具有相似的总体协方差矩阵的模型中。 二,我们用传统的样本协方差矩阵重新定义似然比检验和L-W检验。在原假设条件下,得到了两个新检验的中心极限定理,结果适用于均值未知的非高斯分布的数据。另外,在局部对立假设条件下,我们研究了似然比检验的第二类错误,并详细讨论了两种类型假设检验的优劣。 三,为了研究样本协方差矩阵Sn和总体协方差矩阵Ep的特征向量之间的关系,我们研究了矩阵∑p1/2(Sn+λIp)-1∑p1/2的渐近性质,并且考虑了它与矩阵(Sn+λIp)-1之间的关系。基于这部分理论结果,我们在损失函数下得到了最优权重λ1*,λ2*的计算方法,针对∑p-1提出一个新的压缩估计Q*=(λ1*Sn+λ2*Ip)-1.新的估计是非参数的,也就是我们没有假定具体的参数分布,也没有对总体协方差矩阵的结构有任何的假设条件。同时,新的估计适用于一般的数据,包括p≥n.


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 刘荣玄;陈玲珍;;有界区间假设检验问题的研究[J];大学数学;2008年03期
2 徐兴忠;王静龙;;协方差阵的二次型估计的可容许性问题[J];华东师范大学学报(自然科学版);1986年03期
3 何良材;;风险最佳检驗及其应用[J];重庆工商大学学报(自然科学版);1988年Z1期
4 马翠玲;张德存;李彪;;两参数威布尔分布模型多重模糊假设检验的贝叶斯方法[J];海军航空工程学院学报;2009年01期
5 张金槐;再入飞行器的最大飞行距离的统计决策鉴定[J];国防科技大学学报;1982年01期
6 史凤波;;假设检验在分析水文资料系列代表性中的应用[J];海河水利;1993年02期
7 徐大申,李国东,臧鸿雁;假设检验中的保护原则[J];北华大学学报(自然科学版);2004年05期
8 刘爱芹;;随机抽样中样本容量确定的影响因素分析[J];山东财政学院学报;2006年05期
9 李平;;一类指数Weibull分布族参数的经验贝叶斯检验[J];绍兴文理学院学报(自然科学);2010年03期
10 傅德印;;因子分析统计检验体系的探讨[J];统计研究;2007年06期
11 王立春;;删失下的指数分布的贝叶斯估计(英文)[J];工程数学学报;2006年03期
12 周林;;股票波动率模拟及预测效果的实证研究[J];上海经济研究;2006年12期
13 周德强;;支持向量机回归与分类解的关系[J];广西科学;2008年03期
14 周林;;股票波动率模拟及对中国市场预测效果的实证研究[J];数学的实践与认识;2009年03期
15 罗会兰;论假设检验与置信区间的联系[J];邵阳高等专科学校学报;1993年03期
16 高尔生,周利锋;统计学知识 第一讲 统计学基本概念与假设检验的步骤[J];上海实验动物科学;1999年02期
17 陈秀虎;杨敏;白厚义;;单尾假设检验假设设置的探讨[J];统计教育;2007年02期
18 傅德印;王俊;;判别分析统计检验体系的探讨[J];统计与信息论坛;2008年05期
19 张智霞;刘瑞元;;卡方分布与F分布判别的假设检验[J];高师理科学刊;2008年03期
20 王丹;;一类均匀分布参数的假设检验方法[J];吉林师范大学学报(自然科学版);2009年02期
中国重要会议论文全文数据库 前10条
1 ;Multi-channel Networked Data Fusion with Intermittent Observations[A];第二十九届中国控制会议论文集[C];2010年
2 ;Optimal Estimation in Wireless Sensor Networks with Double Measurements and Multiplicative Noise[A];第二十九届中国控制会议论文集[C];2010年
3 张艳菊;李钢;张仁斌;吴燎原;;一种基于模式匹配的故障诊断方法[A];第六届全国信息获取与处理学术会议论文集(3)[C];2008年
4 苗良;平西建;丁益洪;王卫东;;立体赤足迹的图像校准与特征描述[A];第十二届全国信号处理学术年会(CCSP-2005)论文集[C];2005年
5 林长川;;最大似然估值的目标跟踪预处理方法[A];船舶通信与导航(1995)[C];1995年
6 张德宽;杨贤为;姚华栋;廖要明;;华北高温日数区域平均方法及趋势分析[A];中国气象学会2005年年会论文集[C];2005年
7 黄磊;刘昌平;刘迎建;;基于非参数化降维的手写汉字识别研究[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
8 卢丹;李平;吴仁彪;苏志刚;;一种对导向矢量误差稳健的GPS抗干扰算法[A];第十三届全国信号处理学术年会(CCSP-2007)论文集[C];2007年
9 张旭光;张云;董期林;;基于随机采样的协方差跟踪[A];图像图形技术研究与应用(2010)[C];2010年
10 董鸿燕;张志龙;李吉成;沈振康;;基于标准化梯度的多尺度边缘检测方法[A];2006年全国光电技术学术交流会会议文集(D 光电信息处理技术专题)[C];2006年
中国博士学位论文全文数据库 前10条
1 王成;大维数据的总体协方差矩阵研究[D];中国科学技术大学;2013年
2 项燕彪;高维数据的统计推断[D];浙江大学;2011年
3 金百锁;大维随机矩阵谱分布的极限理论研究及其应用[D];中国科学技术大学;2006年
4 沈炎峰;多变量数据遗传分析方法的研究[D];浙江大学;2010年
5 苏雅茹;高维数据的维数约简算法研究[D];中国科学技术大学;2012年
6 安百国;关于模型稀疏性的研究[D];东北师范大学;2012年
7 陈建娇;高维数据的K-harmonic Means聚类方法及其应用研究[D];上海大学;2012年
8 孙静;若干非参数和半参数模型的稳健估计和特征筛选[D];山东大学;2013年
9 姜丹丹;大维随机矩阵谱理论在多元统计分析中的应用[D];东北师范大学;2010年
10 蒋胜利;高维数据的特征选择与特征提取研究[D];西安电子科技大学;2011年
中国硕士学位论文全文数据库 前10条
1 包少堃;两总体协方差矩阵成比例的检验[D];东北师范大学;2011年
2 刘建;高维数据的本征维数估计方法研究[D];国防科学技术大学;2005年
3 刘毅;VaR方法在沪深股市风险测量中的应用研究[D];北方工业大学;2006年
4 徐嫣菊;危险率的估计及预测[D];吉林大学;2008年
5 胡举;综合孔径辐射计稳健反演方法研究[D];华中科技大学;2012年
6 乔永峰;项目风险分析评价的方法研究[D];内蒙古工业大学;2005年
7 琚旭;支持向量机分类器及其贝叶斯框架研究[D];合肥工业大学;2006年
8 桑红芳;几类分布的参数估计的损失函数和风险函数的Bayes推断[D];中南大学;2006年
9 何峻;毫米波宽带高分辨ATR算法性能评估方法研究[D];国防科学技术大学;2004年
10 郑圣超;基于HVS的若干图像质量度量方法的研究[D];西北工业大学;2006年
中国重要报纸全文数据库 前10条
1 王林;京籍中小企业上市样本[N];经济观察报;2007年
2 本报驻联合国记者 卞晨光;谁是真正的受益者[N];科技日报;2007年
3 本报记者 刘雁飞;注重技工劳动力价值[N];中国纺织报;2008年
4 报道组 楼天茂;“文明东阳”样本层出不穷[N];金华日报;2010年
5 通讯员 张晓 本报记者 操秀英;建设北京重大疾病临床数据和样本资源库[N];科技日报;2010年
6 本报记者 万晶;二十年崛起 市场孕育万科样本[N];中国证券报;2010年
7 记者 毛雨佳;刚需!钢需!有关刚需市场三个样本[N];杭州日报;2011年
8 记者 唐学良;一个真实可考的样本[N];医药经济报;2011年
9 杨超;格兰仕:中国制造样本[N];发展导报;2005年
10 见习记者 汪小意;克隆《传奇》样本:虚拟物品交易的最后疯狂?[N];21世纪经济报道;2004年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978