实验七-多元回归模型

实验七 多元回归模型（2学时）一、实验目的和要求1. 熟练掌握多元线性回归模型的建立方法，掌握并能检验所建立回归方程的显著性与方程系数的显著性，能根据实际问题作预测与控制；2.掌握平方和分解公式，会编程求总离差平方和TSS 、回归平方和RSS 、残差平方和ESS 、复相关系数平方等统计量；3.会根据实际问题对建立多元非线性回归模型，掌握多元线性回归的regress 命令格式．二、实验内容 1.多元线性回归模型（1）多元线性回归模型εββββ+++++=p p X X X Y Λ22110——多元线性回归模型p βββ,,Λ10——待定常数，回归系数，),0(~2σεN .矩阵表示对121,,,,-p X X X Y Λ进行n 次独立观测，得n 组数据),,2,1(),,,,;(21n i x x x y n i ΛΛ=则有 i p i p i i x x y εβββ++++=,Λ110，n i ,,2,1Λ= 其中 n εεε,,,21Λ相互独立，且),(~20σεN i ．采用矩阵记号121⨯⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=n n y y y ΛY ---观测向量),,,,,,,p p n p n n p p x x x x x x X X X X ΛΛΛΛΛΛΛΛ21112211111111（）（=⎪⎪⎪⎪⎪⎭⎫⎝⎛=+⨯----- 设计矩阵1120⨯+⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=）（p p βββΛβ----待估回归参数向量 121⨯⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=n n εεεΛε---随机误差向量 εX βY += ——多元线性回归模型（2）参数估计及性质Y X X X βT T p110-==）（)ˆ,,ˆ,ˆ(ˆβββΛ----β的最小二乘估计 1-)(1-ˆ2p n p n ESS T --=-=Y H I Y σ----随机误差项方差εσD =2的无偏估计βX X βX ββY p 110ˆˆˆˆ)ˆ,,ˆ,ˆ(ˆ=+++==pT n y y y ΛΛ21---回归方程 给出p X X X ,,,Λ21，可由Y 的观测值和经验回归方程求得Y 的预测值． %求回归参数命令（3）复相关系数及相关性检验RSS ESS TSS +=—总离差平方和分解21)(y y TSS ni i -=∑= —总离差残差平方和（Total Sum of Squares ）∑∑===-=ni i n i i yy ESS 1221ˆ)ˆ(ε —残差平方和（Error Sum of Squares ） 21)ˆ(y yRSS i ni -=∑= —回归平方和（Regression Sum of squares ） TSSESSTSS RSS R -==12——复相关系数平方 12≈R ，回归愈越显著． %求复相关系数平方命令TSS=sum((y-mean(y)).^2) %计算总离差平方和，y 是因变量Y 数据 RSS=sum((y1-mean(y)).^2) %计算回归平方和 ESS=sum((y-y1).^2) %计算残差平方和 R2=RSS/ESS; %计算样本决定系数R2=RSS/TSS（4）回归方程的显著性检验检验假设：0i 101210≠≤≤↔====i p p H H ββββ,::存在Λ统计量 )1-,(~)1-/()/(0p n p F MSEMSR p n TSS p RSS F H -=-=真给出显著性水平α，检验p 值)(00F F P p H ≥=，当),(1-0p n p F F ->αα<⇔p 拒绝0H ，认为Y 与121,,,-p X X X Λ线性回归显著；否则线性关系不显著． %回归方程显著性检验命令F=(n-p-1)*SSR/SSE %计算的F 统计量,n 是样本容量 F1=finv(0.95,p,n-p-1) %查F 统计量0.05的分位数 F2=finv(0.99,p,n-p-1) %查F 统计量0.01的分位数 p=1-fcdf(F,p,n-p-1) %求检验P 值，F 是上面计算结果 （5）回归系数的统计推断检验假设 ),,,(::p k H H k k k k Λ210010=≠↔=ββ统计量 )(~)ˆ(ˆ)ˆ(ˆˆˆ10--=-=-=p n t s s c t k kH k k k kk k k k βββββσββ真检验p 值|)|)((|)||(|k H k k H k t p n t P t t P p 0001200≥--=≥= 当α<p )(||1-p 210->⇔-n tt α，拒绝k 0H ,认为Y 与X 线性回归显著；否则不显著．kk kkk k k kk c s c βN c σβσβˆˆˆ,=)(),,(~)(2-1对角元为注意：XX %回归系数显著性的t 检验命令T=b1/sqrt(SSE/(n-2))*sqrt(sum((x-mean(x)).^2)) %t 统计量观测值to, x 是自变量，b1是X 的回归系数 T1=tinv(0.975,n-p-1) %t 统计量0.05的分位数 T2=tinv(0.995,n-p-1) %t 统计量0.01的分位数 p=2-2*tcdf(T,n-p-1) %t 检验的p 值 （6）预测及统计推断.--1)1k 2121α置信区间-置信度1βββββαα⎪⎪⎭⎫ ⎝⎛--------)ˆ()(ˆ,ˆ()(ˆk k k k s p n t s p n t因变量的点估计和区间估计给出0x ，0y 的预测值βx ˆˆˆˆˆˆ,T p p x x x y 010*********=+++=--ββββ0y 的置信区间 ⎪⎪⎭⎫ ⎝⎛+----±--])([)(ˆ010210111x X X x T T p n SSE p n t y α 4.多元线性回归建模的基本步骤(1)对问题进行直观分析，选择因变量与解释变量，作出因变量与各解释变量散点图，初步设定多元线性回归模型参数个数；(2) 多元回归建模命令输入因变量与自变量的观测数据(y,X), 计算参数的估计 regeress ，调用格式有以下三种： （1）b = regress(Y,X)（2）[b,bint,r,rint,stats] = regress(Y,X) （3）[b,bint,r,rint,stats] = regress(Y,X,alpha) 输入参数：⎪⎪⎪⎪⎪⎭⎫⎝⎛=n y y y Y M21因变量观测向量;p212222*********⨯⎪⎪⎪⎪⎪⎭⎫⎝⎛=n np n n p p x x x x x x x x x X ΛM ΛM M M ΛΛ矩阵，第一列元素全为1，第j 列是自变量Xj 观测向量，对一元线性回归，取p=1即可;alpha 为显著性水平.输出参数：向量b--回归系数估计值Y X X X βT T p 1110--==）（)ˆ,,ˆ,ˆ(ˆβββΛ bint--回归系数的(1-alpha)置信区间；向量r--残差列向量121⨯⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=n n εεεˆˆˆˆΛε； rint--模型的残差的(1- α)的置信区间；stats--用于检验回归模型的统计量，有4个分量值：第一个是复相关系数平方2R ，第二个是F 统计量值0F ，第三个是与统计量F 对应的概率P ，当P<α时拒绝H0，即认为线性回归模型有意义，第四个是方差2σ的无偏估计.(3)调用命令 rcoplot(r,rint)绘制残差及置信区间图，分析数据的异常点情况； (4)作显著性检验，若检验通过，则用模型作预测；(5)对模型进一步研究：如残差的正态性检验、残差异方差检验，残差自相关性检验等.例3.2.1某销售公司将库存占用资金情况、广告投入的费用、员工薪酬以及销售额等方面的数据作了汇总,该公司试图根据这些数据找到销售额与其他变量之间的关系，以便进行销售额预测并为工作决策提供参考依据.(1)建立销售额的回归模型；(2)如果未来某月库存资金额为150万元，广告投入预算为45万元，员工薪酬总额为27万元，试根据建立的回归模型预测该月的销售额.表3.7 占用资金、广告投入、员工薪酬、销售额（单位：万元）解：（1）建立回归模型为确定销售额与库存占用资金、广告投入、员工薪酬之间关系，分别作出y与x1,x2,x3散点图，若散点图显示它们之间近似线性关系，可设y与x1,x2,x3关系为三元线性回归模型.εββββ++++=3322110x x x y ，),0(~2σεN程序：%输入数据并作散点图（图3.18）A=[75.2 30.6 21.1 1090.4; 77.6 31.3 21.4 1133 80.7 33.9 22.9 1242.1; 76 29.6 21.4 1003.2 79.5 32.5 21.5 1283.2; 81.8 27.9 21.7 1012.2 98.3 24.8 21.5 1098.8; 67.7 23.6 21 826.3 74 33.9 22.4 1003.3; 151 27.7 24.7 1554.6 90.8 45.5 23.2 1199; 102.3 42.6 24.3 1483.1 115.6 40 23.1 1407.1; 125 45.8 29.1 1551.3 137.8 51.7 24.6 1601.2; 175.6 67.2 27.5 2311.7 155.2 65 26.5 2126.7; 174.3 65.4 26.8 2256.5]; [m,n]=size(A); %读取A 的行数（样本容量n ）和列数(回归参数个数p) subplot(3,1,1),plot(A(:,1),A(:,4),'+'), xlabel('x1(库存资金额)')ylabel('y(销售额)') %画3行一列图矩阵，第一张为(X1,Y)散点图 subplot(3,1,2),plot(A(:,2),A(:,4),'*'), xlabel('x2(广告投入)')ylabel('y(销售额)') % 第二张为(X1,Y)散点图 subplot(3,1,3),plot(A(:,3),A(:,4),'x'), xlabel('x3(员工薪酬)')ylabel('y(销售额)') %第三张为(X1,Y)散点图如图3.18，可见销售额y 与库存资金、广告投入、员工薪酬具有线性关系，因此可以建立三元线性回归模型.6080100120140160180x1(库存资金额)y (销售额)x2(广告投入)y (销售额)x3(员工薪酬)y (销售额)图3.18销售额与库存、广告、薪酬散点图% 调用命令regress 建立三元线性回归模型x=[ones(m,1), A(:,1:3)]; % 设计矩阵x 第一列全为1，2-3列为X1-X3数据 y=A(:,4) % 读取A 第4列Y 值[b,bint,r,rint,stats]=regress(y,x); % 回归模型y 因变量，X 为设计矩阵 b,bint,stats, % 输出结果 程序运行结果: 1）回归参数估计 b =162.0632 7.2739 13.9575 -4.3996得T T )()ˆ,,ˆ,ˆ(6575,-4.399.2739,13.9162.0632,73210=ββββ&& 因此回归方程为32139964957913273970632162x x x y....ˆ-++= bint =-580.3603 904.4867 4.3734 10.1743 7.1649 20.7501 -46.7796 37.9805得到回归参数3210ββββ,,,的95%置信区间分别为[-580.3603，904.4867],[4.3734，10.1743],[7.1649，20.7501], [-46.7796,37.9805] 2）模型的检验 统计量stats 输出结果stats=0.9574804050 105.0866520891 0.0000000008 10077.9867891125 stats 第一列为模型可决系数1957480405002≈=.R ，说明自变量整体和因变量y 线性关系显著;第二列为F 统计量观测值),(..418140866521050500-->=F F ，第三列得到概率050000000000800.}.{<=≥=F F P p ;最后一列为模型残差平方和986789.10077=ESS .拒绝原假设，认为线性回归模型显著. （2）预测32139964957913273970632162x x x y....ˆ-++= 求因变量预测值程序：x0=[1,150,45,27]; %给定自变量一组值，第一项为1yc=x0*b %求因变量预测值0yˆ 输出结果： yc =1.7624e+03即因变量预测值301076241⨯=.ˆy方法2 线性回归模型类的类方法对一元和多元线性回归模型，matlab 提供了LinearModel 类，用户可以根据观测数据，调研LinearModel 类的类方法，创建一个LinearModel 类对象，用来求解回归模型。