方向回归的局部影响分析

【摘要】：高维数据的降维问题是非参数回归领域中一个十分重要的研究方向。充分降维是一种通过找寻原始自变量的少量线性组合,在不损失回归信息的前提下降低自变量维数的降维理论方法。在当前的降维理论中,方向回归是一种很受欢迎的方法。方向回归具有自然而简单的原理,综合了依托于前两阶条件期望的降维方法,具有精度较高、计算负担较轻等优点,被广泛地应用于非参数回归中。本文基于对数据点的联合扰动,提出一种针对方向回归的局部影响分析方法。具体而言,基于空间位移函数、影响图、扰动方向、升截线和拟曲率等概念,构建了方向回归的局部影响分析理论框架,导出了方向回归中数据点的局部影响评价统计量的表达式。其中,空间位移函数用于度量扰动前后降维空间估计的差异,拟曲率用于度量在零扰动处附近沿某个方向的微小扰动给降维空间估计带来的变化,而最大化拟曲率的扰动方向即被用于构建影响评价统计量。在此过程中,需要导出拟曲率的表达式,并将其表示为扰动方向向量的二次型,这个步骤的完成主要基于矩阵微商的推导和特征向量扰动理论。本文所提出的方法得到了模拟研究的验证和说明,此外,针对一个手写体数字识别数据集的分析,进一步验证了本文方法的实用价值。