线性回归的显著性检验及回归预测.

对多元线性回归模型的各种检验方法对于形如u X X X Y k k +++++=ββββ 22110 （1） 的回归模型，我们可能需要对其实施如下的检验中的一种或几种检验：一、 对单个总体参数的假设检验：t 检验在这种检验中，我们需要对模型中的某个（总体）参数是否满足虚拟假设0H ：j j a =β，做出具有统计意义（即带有一定的置信度）的检验，其中j a 为某个给定的已知数。

特别是，当j a =0时，称为参数的（狭义意义上的）显著性检验。

如果拒绝0H ，说明解释变量j X 对被解释变量Y 具有显著的线性影响，估计值j βˆ才敢使用；反之，说明解释变量j X 对被解释变量Y 不具有显著的线性影响，估计值j βˆ对我们就没有意义。

具体检验方法如下：（1） 给定虚拟假设 0H ：j j a =β；（2） 计算统计量 )ˆ(ˆ)ˆ()(ˆjj j j j j Se a Se E t βββββ-=-= 的数值； 11ˆ)ˆ(++-==j j jj jj j C C Se 1T X)(X ，其中σβ（3） 在给定的显著水平α下（α不能大于1.0即 10%，也即我们不能在置信度小于90%以下的前提下做结论），查出双尾t （1--k n ）分布的临界值2/αt ；（4） 如果出现 2/αt t >的情况，检验结论为拒绝0H ；反之，无法拒绝0H 。

t 检验方法的关键是统计量 )ˆ(ˆj jj Se t βββ-=必须服从已知的t 分布函数。

什么情况或条件下才会这样呢？这需要我们建立的模型满足如下的条件（或假定）：（1） 随机抽样性。

我们有一个含n 次观测的随机样(){}n i Y X X X i ik i i ,,2,1:,,,,21 =。

这保证了误差u 自身的随机性，即无自相关性，0))())(((=--j j i i u E u u E u Cov 。

（2） 条件期望值为0。

给定解释变量的任何值，误差u 的期望值为零。

回归方程的显著性检验回归方程的显著性检验的目的是对回归方程拟合优度的检验。

F检验法是英国统计学家Fisher提出的，主要通过比较两组数据的方差S2，以确定他们的精密度是否有显著性差异。

回归方程显著性检验具体方法为：由于y的偏差是由两个因素造成的，一是x变化所引起反应在S回中，二是各种偶然因素干扰所致S残中。

将回归方程离差平方和S回同剩余离差平方和S残加以比较，应用F检验来分析两者之间的差别是否显著。

如果是显著的，两个变量之间存在线性关系；如果不显著，两个变量不存在线性相关关系。

n个观测值之间存在着差异，我们用观测值yi与其平均值的偏差平方和来表示这种差异程度，称其为总离差平方和，记为由于所以式中称为回归平方和，记为S回。

称为残差平方和，记为。

不难证明，最后一项。

因此S总＝S回＋S残上式表明，y的偏差是由两个因素造成的，一是x变化所引起，二是各种偶然因素干扰所致。

事实上，S回和S残可用下面更简单的关系式来计算。

具体检验可在方差分析表上进行。

这里要注意S回的自由度为1，S残的自由度为n－2，S总的自由度为n－1。

如果x与y有线性关系，则其中，F（1，n-2）表示第一自由度为1，第二自由度为n-2的分布。

在F表中显著性水平用表示，一般取0.10，0.05，0.01，1-表示检验的可靠程度。

在进行检验时，F值应大于F表中的临界值Fα。

若F<0.05(1,n-2)，则称x与y 没有明显的线性关系，若F0.05(1,n-2)<F<F0.01(1,n-2)，则称x与y有显著的线性关系；若F>F0.01(1,n-2)，则称x与y有十分显著的线性关系。

当x与y有显著的线性关系时，在表2-1-2的显著性栏中标以〝*〞；当x与y有十分显著的线性关系时，标以〝**〞。

多元线性回归模型的各种检验方法多元线性回归模型是常用于数据分析和预测的方法，它可以用于研究多个自变量与因变量之间的关系。

然而，仅仅使用多元线性回归模型进行参数估计是不够的，我们还需要对模型进行各种检验以确保模型的可靠性和有效性。

下面将介绍一些常用的多元线性回归模型的检验方法。

首先是模型的整体显著性检验。

在多元线性回归模型中，我们希望知道所构建的模型是否能够显著解释因变量的变异。

常见的整体显著性检验方法有F检验和显著性检查表。

F检验是通过比较回归模型的回归平方和和残差平方和的比值来对模型的整体显著性进行检验。

若F值大于一定的临界值，则可以拒绝原假设，即模型具有整体显著性。

通常，临界值是根据置信水平和自由度来确定的。

显著性检查表是一种常用的汇总表格，它可以提供关于回归模型的显著性水平、标准误差、置信区间和显著性因素的信息。

通过查找显著性检查表，我们可以评估模型的显著性。

其次是模型的参数估计检验。

在多元线性回归模型中，我们希望知道每个自变量对因变量的影响是否显著。

通常使用t检验来对模型的参数估计进行检验。

t检验是通过对模型的回归系数进行检验来评估自变量的影响是否显著。

与F检验类似，t检验也是基于假设检验原理，通过比较t值和临界值来决定是否拒绝原假设。

通常，临界值可以通过t分布表或计算机软件来获取。

另外，我们还可以使用相关系数来评估模型的拟合程度。

相关系数可以用来衡量自变量与因变量之间的线性关系强度，常见的相关系数包括Pearson相关系数和Spearman相关系数。

Pearson相关系数适用于自变量和因变量都是连续变量的情况，它衡量的是两个变量之间的线性关系强度。

取值范围为-1到1，绝对值越接近1表示关系越强。

Spearman相关系数适用于自变量和因变量至少有一个是有序变量或者都是有序变量的情况，它衡量的是两个变量之间的单调关系强度。

取值范围也是-1到1，绝对值越接近1表示关系越强。

最后，我们还可以使用残差分析来评估模型的拟合程度和误差分布。

§3 回归方程及回归系数的显著性检验１、回归方程的显著性检验(1) 回归平方和与剩余平方和建立回归方程以后, 回归效果如何呢因变量与自变量是否确实存在线性关系呢这是需要进行统计检验才能加以肯定或否定, 为此, 我们要进一步研究因变量取值的变化规律。

的每次取值是有波动的, 这种波动常称为变差, 每次观测值的变差大小, 常用该次观侧值与次观测值的平均值的差(称为离差)来表示, 而全部次观测值的总变差可由总的离差平方和,其中:称为回归平方和, 是回归值与均值之差的平方和, 它反映了自变量的变化所引起的的波动, 其自由度(为自变量的个数)。

称为剩余平方和(或称残差平方和), 是实测值与回归值之差的平方和, 它是由试验误差及其它因素引起的, 其自由度。

总的离差平方和的自由度为。

如果观测值给定, 则总的离差平方和是确定的, 即是确定的, 因此大则小, 反之, 小则大, 所以与都可用来衡量回归效果, 且回归平方和越大则线性回归效果越显著, 或者说剩余平方和越小回归效果越显著, 如果＝0, 则回归超平面过所有观测点; 如果大, 则线性回归效果不好。

(2) 复相关系数为检验总的回归效果, 人们也常引用无量纲指标,或,称为复相关系数。

因为回归平方和实际上是反映回归方程中全部自变量的“方差贡献”, 因此就是这种贡献在总回归平方和中所占的比例, 因此表示全部自变量与因变量的相关程度。

显然。

复相关系数越接近１, 回归效果就越好, 因此它可以作为检验总的回归效果的一个指标。

但应注意, 与回归方程中自变量的个数及观测组数有关, 当相对于并不很大时, 常有较大的值, 因此实际计算中应注意与的适当比例, 一般认为应取至少为的５到10倍为宜。

(3) 检验要检验与是否存在线性关系, 就是要检验假设,当假设成立时, 则与无线性关系, 否则认为线性关系显著。

检验假设应用统计量,这是两个方差之比, 它服从自由度为及的分布, 即,用此统计量可检验回归的总体效果。

线性回归的显着性检验1.回归方程的显着性在实际问题的研究中，我们事先并不能断定随机变量y与变量x1,x2/ ,x p之间确有线性关系，在进行回归参数的估计之前，我们用多元线性回归方程去拟合随机变量y与变量人〃2，…，X p之间的关系，只是根据一些定性分析所作的一种假设。

因此，和一元线性回归方程的显着性检验类似，在求出线性回归方程后，还需对回归方程进行显着性检验。

设随机变量丫与多个普通变量X j,X2,…，X p的线性回归模型为其中；服从正态分布N（o,；「2）对多元线性回归方程的显着性检验就是看自变量若接受X i, X2，…，X p从整体上对随机变量y是否有明显的影响。

为此提出原假设如果H。

被接受，则表明随机变量y与X i，X2，…，X p的线性回归模型就没有意义。

通过总离差平方和分解方法，可以构造对H o进行检验的统计量。

正态随机变量y i, y2/ , y n的偏差平方和可以分解为：n n nS r八（y i -y）2为总的偏差平方和，S R八（场-y）2为回归平方和，S E八（y i-?）2为残i 1i £i A差平方和。

因此，平方和分解式可以简写为：回归平方和与残差平方和分别反映了 b = 0所引起的差异和随机误差的影响。

构造F检验统计量则利用分解定理得到：在正态假设下，当原假设H°:b1 =0, d =0，…，b p =0成立时，F服从自由度为（p,n - p「1）的F 分布。

对于给定的显着水平［，当F大于临界值（p, n-p-1）时，拒绝H。

，说明回归方程显着，x与y有显着的线性关系。

R定义实际应用中，我们还可以用复相关系数来检验回归方程的显着性。

复相关系数为:平方和分解式可以知道，复相关系数的取值范围为O^R^I。

R越接近1表明S E越小，回归方程拟合越好。

2•回归系数的显着性若方程通过显着性检验，仅说明bog,b2,…b p不全为零，并不意味着每个自变量对y的影响都显着，所以就需要我们对每个自变量进行显着性检验。

§3回归方程及回归系数的显著性检验1、回归方程的显著性检验（1）回归平方和与剩余平方和建立回归方程以后，回归效果如何呢？因变量」与自变量是否确实存在线性关系呢？这是需要进行统计检验才能加以肯定或否定，为此，我们要进一步研究因变量取值的变化规律。

）的每次取值-1'"' - ' ■-■■■是有波动的，这种波动常称为变差，每次观测值八•的变差大小，常用该次观侧值与池次观测值的平均值"二的差」丁（称为离差）来表示，而全部、；次观测值的总变差可由总的离差平方和口期R咧=刀应-刃亠-珀）“十2% - h =s+uJUl U! JUl其中：称为回归平方和，是回归值「与均值：之差的平方和，它反映了自变量的变化所引起的J的波动，其自由度- 1（“；为自变量的个数）。

H 称为剩余平方和（或称残差平方和），是实测值°与回归值J之差的平方和，它是由试验误差及其它因素引起的，其自由度二：。

总的离差平方和片：’的自由度为、:一】。

如果观测值给定，则总的离差平方和•是确定的，即二-是确定的，因此丁大则丄小，反之，了小则J大，所以戸与。

都可用来衡量回归效果，且回归平方和戸越大则线性回归效果越显著，或者说剩余平方和二越小回归效果越显著，如果二•= 0，则回归超平面过所有观测点；如果丄大，则线性回归效果不好。

（2）复相关系数为检验总的回归效果，人们也常引用无量纲指标，（3.1）三称为复相关系数。

因为回归平方和 丁实际上是反映回归方程中全部自变量的“方差贡献” ，因此就 是这种贡献在总回归平方和中所占的比例，因此二表示全部自变量与因变量.1的相关程度。

显然〕兰三兰丨。

复相关系数越接近1 ,回归效果就越好，因此它可以作为检验总的回归效果的一个指标。

但应注意，f 与回归方程中自变量的个数及观测组数芒有关，当：相对于"；并不很大时，常有较大的三值，因此实际 计算中应注意 弋与：的适当比例，一般认为应取门至少为吧的5到10倍为宜。

从统计学看线性回归（2）——⼀元线性回归⽅程的显著性检验⽬录1. σ2 的估计2. 回归⽅程的显著性检验 t 检验（回归系数的检验） F 检验（回归⽅程的检验） 相关系数的显著性检验 样本决定系数 三种检验的关系⼀、σ2 的估计 因为假设检验以及构造与回归模型有关的区间估计都需要σ2的估计量，所以先对σ2作估计。

通过残差平⽅和（误差平⽅和）（1）（⽤到和，其中）⼜∵（2）∴（3）其中为响应变量观测值的校正平⽅和。

残差平⽅和有n-2 个⾃由度，因为两个⾃由度与得到的估计值与相关。

（4）（公式（4）在《线性回归分析导论》附录C.3有证明）∴σ2的⽆偏估计量：（5）为残差均⽅，的平⽅根称为回归标准误差，与响应变量y 具有相同的单位。

因为σ2取决于残差平⽅和，所以任何对模型误差假设的违背或对模型形式的误设都可能严重破坏σ2的估计值的实⽤性。

因为由回归模型残差算得，称σ2的估计值是模型依赖的。

⼆、回归⽅程的显著性检验 ⽬的：检验是否真正描述了变量 y 与 x 之间的统计规律性。

假设：正态性假设（⽅便检验计算）1. t 检验 ⽤t 检验来检验回归系数的显著性。

采⽤的假设如下：原假设 H0：β1 = 0 （x 与 y 不存在线性关系）对⽴假设 H1：β1 ≠ 0 回归系数的显著性检验就是要检验⾃变量 x 对因变量 y 的影响程度是否显著。

下⾯我们分析接受和拒绝原假设的意义。

（1）接受 H0：β1 = 0 （x 与 y 不存在线性关系） 此时有两种情况，⼀种是⽆论 x 取值如何， y 都在⼀条⽔平线上下波动，即，如下图1，另⼀种情况为， x 与 y 之间存在关系，但不是线性关系，如图2。

图 1图 2 （2）拒绝 H0：β1 = 0 （x 对解释 y 的⽅差是有⽤的） 拒绝原假设也有两种情况，⼀种是直线模型就是合适的，如图 3，另⼀种情况为存在 x 对 y 的线性影响，也可通过 x 的⾼阶多项式得到更好的结果，如图 4。

matlab建立多元线性回归模型并进行显著性检验及预测问题例子;x=[143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164]'; X=[ones(16,1) x]; 增加一个常数项Y=[88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102]'; [b,bint,r,rint,stats]=regress(Y,X) 得结果：b = bint = -16.0730 -33.7071 1.5612 0.7194 0.6047 0.8340 stats = 0.9282 180.9531 0.0000 即对应于b的置信区间分别为[-33.7017，1.5612]、[0.6047,0.834]; r2=0.9282, F=180.9531, p=0.0000 p<0.05, 可知回归模型y=-16.073+0.7194x 成立. 这个是一元的，如果是多元就增加X的行数！实用文档function [beta_hat,Y_hat,stats]=regress(X,Y,alpha)% 多元线性回归(Y=Xβ+ε)MATLAB代码%% 参数说明% X：自变量矩阵，列为自变量，行为观测值% Y：应变量矩阵，同X% alpha：置信度，[0 1]之间的任意数据% beta_hat：回归系数% Y_beata：回归目标值，使用Y-Y_hat来观测回归效果% stats：结构体，具有如下字段% stats.fTest=[fV,fH]，F检验相关参数，检验线性回归方程是否显著% fV：F分布值，越大越好，线性回归方程越显著% fH：0或1，0不显著；1显著(好)% stats.tTest=[tH,tV,tW]，T检验相关参数和区间估计，检验回归系数β是否与Y有显著线性关系实用文档% tV：T分布值，beta_hat(i)绝对值越大,表示Xi对Y显著的线性作用% tH：0或1，0不显著；1显著% tW：区间估计拒绝域，如果beta(i)在对应拒绝区间内，那么否认Xi对Y显著的线性作用% stats.TUQR=[T,U,Q,R]，回归中使用的重要参数% T：总离差平方和，且满足T=Q+U% U：回归离差平方和% Q：残差平方和% R∈[0 1]：复相关系数，表征回归离差占总离差的百分比，越大越好% 举例说明% 比如要拟合y=a+b*log(x1)+c*exp(x2)+d*x1*x2，注意一定要将原来方程线化% x1=rand(10,1)*10;% x2=rand(10,1)*10;% Y=5+8*log(x1)+5.623*exp(x2)+1.2*x1.*x2+rand(10,1); % 以上随即生成一组测试数据实用文档% X=[ones(10,1) log(x1) exp(x2) x1.*x2]; % 将原来的方表达式化成Y=Xβ，注意最前面的1不要丢了% [beta_hat,Y_hat,stats]=mulregress(X,Y,0.99)%% 注意事项% 有可能会出现这样的情况，总的线性回归方程式显著的(stats.fH=1)，% 但是所有的回归系数却对Y的线性作用却不显著(stats.tF=0)，产生这种现象的原意是% 回归变量之间具有较强的线性相关，但这种线性相关不能采用刚才使用的模型描述，% 所以需要重新选择模型%C=inv(X'*X);Y_mean=mean(Y);% 最小二乘回归分析beta_hat=C*X'*Y; % 回归系数βY_hat=X*beta_hat; % 回归预测实用文档% 离差和参数计算Q=(Y-Y_hat)'*(Y-Y_hat); % 残差平方和U=(Y_hat-Y_mean)'*(Y_hat-Y_mean); % 回归离差平方和T=(Y-Y_mean)'*(Y-Y_mean); % 总离差平方和，且满足T=Q+UR=sqrt(U/T); % 复相关系数，表征回归离差占总离差的百分比，越大越好[n,p]=size(X); % p变量个数，n样本个数% 回归显著性检验fV=(U/(p-1))/(Q/(n-p)); % 服从F分布，F的值越大越好fH=fV>finv(alpha,p-1,n-p); % H=1，线性回归方程显著(好)；H=0，回归不显著% 回归系数的显著性检验chi2=sqrt(diag(C)*Q/(n-p)); % 服从χ2(n-p)分布tV=beta_hat./chi2; % 服从T分布，绝对值越大线性关系显著tInv=tinv(0.5+alpha/2,n-p);tH=abs(tV)>tInv; % H(i)=1，表示Xi对Y显著的线性作用；H(i)=0，Xi对Y的线性作用不明显% 回归系数区间估计实用文档tW=[-chi2,chi2]*tInv; % 接受H0，也就是说如果在beta_hat(i)对应区间中，那么Xi与Y线性作用不明显stats=struct('fTest',[fH,fV],'tTest',[tH,tV,tW],'TUQR',[T,U,Q,R]);如有侵权请联系告知删除，感谢你们的配合！实用文档。

线性回归的显著性检验1.回归方程的显著性在实际问题的研究中， 我们事先并不能断定随机变量y 与变量 x 1 , x 2 , , x p 之间确有线性关系， 在进行回归参数的估计之前， 我们用多元线性回归方程去拟合随机变量 y 与变量 x 1 , x 2 , , x p 之间的关系，只是根据一些定性分析所作的一种假设。

因此，和一元线性回归方程的显著性检验类似，在求出线性回归方程后，还需对回归方程进行显著性检验。

设随机变量 Y 与多个普通变量 x 1, x 2 ,, x p 的线性回归模型为 Y b 0 b 1x 1b p x p其中 服从正态分布 N ( 0, 2 )对多元线性回归方程的显著性检验就是看自变量若接受x 1, x 2 , , x p 从整体上对随机变量 y 是否有明显的影响。

为此提出原假设 H 0 : b1 0, b2 0, , bp如果 H 0 被接受，则表明随机变量 y 与 x1 , x2 ,, xp 的线性回归模型就没有意义。

通过总离差平方和分解方法，可以构造对 H 0 进行检验的统计量。

正态随机变量y 1 , y 2 , , y n 的偏差平方和可以分解为：nn n n ( y i y) 2 ? ? y) 2 ? y) 2 ( y i ? 2( y i y i y i ( y i y i )i 1 i 1 i 1 i 1n y) 2 n y) 2 S T ( y i 为总的偏差平方和， S R ( y?i 为回归平方和， i 1 i 1 n2S E( y i ? 为残差平方和。

因此，平方和分解式可以简写为： y i ) i 1S T S R S E回归平方和与残差平方和分别反映了 b 0 所引起的差异和随机误差的影响。

构造 F 检验统计量则利用分解定理得到：Q R p F pQ E (n1)在正态假设下，当原假设H 0 : b10, b20,, bp 0 成立时，F 服从自由度为( p, np 1) 的F 分布。