多元线性回归中复共线问题及偏最小二乘回归分析

【摘要】：文章探讨了两个问题，一个是关于复共线问题，另一个是关于偏最小二乘回归的弱点问题。 一方面，在多元线性回归的应用中，变量之间多重相关性的危害十分严重，但其存在却又十分普遍。现在常用的解决多元线性回归中多重共线问题的回归模型主要有岭回归、主成分回归以及偏最小二乘回归。面对由实际情况测量所得的一组数据，当适合使用线性回归，而自变量之间又存在严重的共线现象时，哪一种模型又是最适合的呢?文章从理论和实例两个方面探讨了这个问题。首先从理论上深入分析了他们克服共线问题的机理，以及三种模型作用的不同，然后文章又通过例子，利用SAS程序，给出了克服共线问题的几种方法的具体表现，客观地评价了几种方法的特点和优劣，对具体模型的选择提供了依据。另一方面，偏最小二乘回归方法，被称为第二代回归方法，在处理线性回归中的多重共线问题时，有着较好的效果；但在有些情况下的回归结果却并不理想。文章重点探讨了这种回归方法的弱点和局限性。首先，他对影响点不具有稳健性，一两个影响点的存在，可以严重改变回归的结果。其次，从偏最小二乘法运算的过程所提取的成分并不都是理想的，其中就有一种成分，他的协方差较大，主要是因为自变量系统中混入了较多的异常影响，从而造成其方差较大，但成分对响应变量的解释能力却不强。文章提出了偏最小二乘回归中这类不适合的情况，并从理论上分析，实例上验证，给出了针对这种情况的一种改进办法，从而拓宽了偏最小二乘回归的使用范围。