多元的线性回归

实用标准文案

精彩文档 多元线性回归模型

一、多元线性回归模型的一般形式

设随机变量y与一般变量pxxx,,,21的线性回归模型为：

ppxxxy22110

写成矩阵形式为：Xy 其中：

nyyyy21

npnnppxxxxxxxxxX212222111211111

p10

n21

二、多元线性回归模型的基本假定

1、解释变量pxxx,,,21是确定性变量，不是随机变量，且要求npXrank1)(。这里的npXrank1)(表明设计矩阵X中自变量列之间不相关，样本容量的个数应大于解释变量的个数，X是一满秩矩阵。

2、随机误差项具有0均值和等方差，即：),,2,1,(,,0,),cov(,,2,1,0)(2njijijiniEjii

0)(iE，即假设观测值没有系统误差，随机误差i的平均值为0，随机误差i的协方差为0表明随机误差项在不同的样本点之间是不相关的（在正态假定下即为独立），不存在序列相关，并且具有相同的精度。

3、正态分布的假定条件为：相互独立niniN,,,,2,1),,0(~212，矩阵表示：),0(~2nIN,由该假定和多元正态分布的性质可知，随机变量y服从n维正态分布，回归模型的期望向量为：XyE)(；nIy2)var( 因此有),(~2nIXNy

三、多元线性回归方程的解释

对于一般情况含有p个自变量的回归方程ppxxxyE22110)(的解释，每个回归系数i表示在回归方程中其他自变量保持不变的情况下，自变量ix每增加一个单位时因变量y的平均增加程度。因此通常把多元线性回归的回归系数称为偏回归系数。下面看个例子，考虑国内生产总值GDP和三次产业增加值的关系，这个问题中GDP=321xxx是确定性的函数关系，可以看作误差项为实用标准文案

精彩文档 0的特殊回归关系。3个回归系数都是1，对2解释为第二产业增加值2x每增加1亿元GDP也增加1亿元。假设做GDP对2x的一元线性回归，得到回归方程为28554.19.5289ˆxy，对这个方程回归系数的解释是第二产业增加值每增加1亿元GDP增加1.8554亿元。两个回归方程对同样的经济现象给出了不同的解释，问题出在什么地方呢？多元回归系数表示在回归方程中其他自变量保持不变的情况下，相应自变量每增加一个单位时因变量的平均增加速度。因此在用多元回归方程GDP=321xxx解释2=1时，一定要强调是在1x和3x保持不变的情况下，2x每增加1亿元GDP也增加1亿元。在用一元回归方程28554.19.5289ˆxy解释回归系数时，要强调的是在方程之外的有关变量也相应变化时2x每增加1亿元GDP增加1.8554亿元。GDP增加的1.8554亿元中2x的直接贡献只用1亿元，回归方程外的1x和3x的贡献是0.8554亿元。这里又出现一个问题，为什么回归方程外的1x和3x贡献是0.8554亿元，而不是2亿元呢？可以通过考察数据，2x的增加幅度远大于1x和3x的增加幅度，假如2x增加1亿元，1x和3x相应的增加幅度都达不到1亿元。

四、参数估计

要想用OLSE估计多元线性回归模型的未知数，样本容量必须不少于模型中参数的个数。

在正态假定下，回归参数的MLE（最大似然估计）与OLSE（最小二乘估计）完全相同，即yXXX1)(ˆ，误差项方差2的MLE为)(11ˆ2eenSSEnL，这是2的有偏估计，但它满足一致性，在大样本的情况下，是2的渐近无偏估计量。

参数估计量的性质：

性质1，ˆ是随机向量y的一个线性变换

性质2，ˆ是的无偏估计

性质3，12)()ˆ(XXD

性质4，高斯-马尔科夫（G-M）定理

（1）ˆc是c的无偏估计 （2）ˆc的方差要小 实用标准文案

精彩文档 高斯-马尔科夫定理 在假定XyE)(,nIyD2)(时，的任一线性函数c的最小方差线性无偏估计为ˆc，其中c是任一p+1维常数向量，ˆ是的最小二乘估计。

此定理说明了用OLSE估计得到的估计量ˆ是理想的估计量。关于这条性质，需要注意以下四点：

第一，取常数向量c的第j（pj,,1,0）分量为1，其余分量为0，这时G-M定理表明最小二乘估计jˆ是j的最小方差线性无偏估计。

第二，可能存在nyyy,,,21的非线性函数，作为c的无偏估计，比最小二乘估计ˆc的方差更小。

第三，可能存在c的有偏估计量，在某种意义（例如均方差最小）下比最小二乘估计ˆc更好。

第四，在正态假定下，ˆc是c的最小方差无偏估计。

性质5，0),ˆcov(e，在正态假定下ˆ与e不相关等价与ˆ与e独立，从而ˆ与SEE=ee独立。

性质6，当),(~2nIXNy时，则)1(~))(,(~ˆ2212pnSEEXXN

五、自变量的显著性

如何剔除多余的不显著的自变量？y对自变量pxxx,,,21线性回归的残差平方和为SSE，回归平方和为SSR，在剔除掉jx后，用y对其余的p-1个自变量作回归，所得的残差平方和记为)(jSSE，回归平方和为)(jSSR，则自变量jx对回归的贡献为：)()(jjSSRSSRSSR，称为jx的偏回归平方和。由此可以构造偏F统计量：)1(1)(pnSSESSRFjj，当原假设0:0jjH成立时，偏F统计量jF服从自由度为（1，n-p-1）的F分布，此F检验与回归系数的t检验是一致的，当从回归方程中剔除变量时，回归平方和减少，残差平方和增加。反之，当往回归方程中引入变量时，回归平方和增加，残差平方和减少，两者的增减量同样相等。

六、关于拟合优度 实用标准文案

精彩文档 SSTSSRR2,2R与回归方程中自变量的数目以及样本容量n有关，当样本容量n与自变量个数接近时，2R易接近1，其中隐含着一些虚假成分。由2R决定模型优劣时还需慎重。

七、中心化和标准化

因为多元回归涉及的数据量很大，就可能由于舍入误差而使计算结果不理想。产生舍入误差有两个主要原因，一是回归分析计算中数据量级有很大差异，比如数据10000与0.1111这样的大小相差悬殊的数据出现在同一个计算中；二是设计矩阵X 的列向量近似线性相关时，XX为病态矩阵，其逆矩阵1)(XX就会产生较大的误差。

1、中心化

多元线性回归模型的一般形式为:ppxxxy22110

其经验回归方程为:ppxxxyˆˆˆˆˆ22110

此经验方程进过样本中心(yxxxp;,,,21),将坐标原点移至样本中心，即作坐标变换：pjniyyyxxxiiijij,,2,1;,,2,1上述经验方程即转变为：ppxxxyˆˆˆˆˆ22110即为中心化经验回归方程。中心化经验回归方程的常数项为0，而回归系数的最小二乘估计值jˆ保持不变，因为坐标系平移变化只改变直线的截距，不改变直线的斜率。

2、标准化回归系数

为了消除量纲不同和数量级的差异所带来的影响，就需要将样本数据作标准化处理，然后用最小二乘法估计未知参数，求得标准化系数。

样本数据标准化公式：pjniLyyyLxxxyyiijjjijij,,2,1;,,2,1

其中：nijijjjxxL12)(，niiyyyyL12)(

标准化回归系数与最小二乘回归系数之间存在关系式：jyyjjjLLˆˆ

普通最小二乘估计jˆ表示在其他变量不变的情况下，自变量jx的每单位的绝对变化引起的因变量均值的绝对变化量。标准化回归系数jˆ表示自变量jx的1%相对变化（相对于jjL）引起的因变量均值的相对变化百分数（相对于yyL）。 实用标准文案

精彩文档 标准化回归系数是比较自变量对y影响程度相对重要性的一种较为理想的方法，有了标准化回归系数后，变量的相对重要性就容易进行比较了。但是，仍要注意对回归系数的解释须采取谨慎的态度，这是因为当自变量相关时会影响标准化回归系数的大小。

八、相关阵与偏相关系数

1、样本相关阵

负相关系数R反映了y与一组自变量的相关性，是整体和共性指标，简单相关系数反映的是两个变量见的相关性，是局部和个性指标。在分析问题时，应该本着整体与局部相结合，共性与个性相结合的原则。求出y与每个自变量ix的相关系数yir，得到增广的样本相关阵为：1111~212212112121pppypypyypyyrrrrrrrrrrrrr

2、偏决定系数

在多元线性回归分析中，当其他变量被固定后，给定的任两个变量之间的相关系数，叫偏相关系数。偏相关系数可以度量p+1个变量pxxxy,,,,21之中任意两个变量的线性相关程度，而这种相关程度是在固定其余p-1个变量的影响下的线性相关。偏决定系数测量在回归方程中已包含若干个自变量时，再引入某一个新的自变量时，y的剩余变差的相对减少量，它衡量某个自变量对y的变差减少的边际贡献。

（1）两个自变量的偏决定系数

二元线性回归模型为：iiiixxy22110，ni,,2,1

记SSE(2x)是模型中只含有自变量2x时y的残差平方和，SSE（1x，2x）是模型中同时含有自变量1x和2x时y的残差平方和。模型中已含有2x时，再加入1x使y的剩余变差的相对减小量为：)(),()(221222,1xSSExxSSExSSEry此时模型中已含有2x时，y与1x的偏决定系数。

（2）一般情况

在模型中含有pxx,,2时，y与1x的偏决定系数为：

),,(),,,(),,(22122,,2;1ppppyxxSSExxxSSExxSSEr，偏决定系数与回归系数显著性检验的偏F值是等价的。

3、偏相关系数 实用标准文案

精彩文档 偏决定系数的平方根称为偏相关系数，其符号与相应的回归系数的符号相同。偏相关系数与回归系数显著性检验的t值是等价的。下面看一个例子：

x1 x2 y x1 x2 y

25 3547.79 553.96 7 671.13 122.24

20 896.34 208.55 532 2863.32 1400

6 750.32 3.1 75 1160 464

1001 2087.05 2815.4 40 862.75 7.5

525 1639.31 1052.12 187 672.99 224.18

825 3357.7 3427 122 901.76 538.94

120 808.47 442.82 74 3546.18 2442.79

28 520.27 70.12

对上面的数据做二元线性回归得到结果如下所示：

Model Summary

Model R R Square Adjusted R

Square Std. Error of

the Estimate

1 .918a .842 .816 475.75182

a. Predictors: (Constant), x2, x1

偏相关系数表

Unstandardized

Coefficients Standardized