第三章相关与回归分析

第三章 一元线性回归模型一、预备知识（一）相关概念对于一个双变量总体,若由基础理论，变量和变量之间存在因果),(i i x y x y 关系，或的变异可用来解释的变异。

为检验两变量间因果关系是否存在、x y 度量自变量对因变量影响的强弱与显著性以及利用解释变量去预测因变量x y x ，引入一元回归分析这一工具。

y 将给定条件下的均值i x i yi i i x x y E 10)|(ββ+=（3.1）定义为总体回归函数（PopulationRegressionFunction,PRF ）。

定义为误差项（errorterm ）,记为，即，这样)|(i i i x y E y -i μ)|(i i i i x y E y -=μ，或i i i i x y E y μ+=)|(i i i x y μββ++=10（3.2）（3.2）式称为总体回归模型或者随机总体回归函数。

其中，称为解释变量x （explanatory variable ）或自变量（independent variable ）；称为被解释y 变量（explained variable ）或因变量（dependent variable ）；误差项解释μ了因变量的变动中不能完全被自变量所解释的部分。

误差项的构成包括以下四个部分：（1）未纳入模型变量的影响（2）数据的测量误差（3）基础理论方程具有与回归方程不同的函数形式，比如自变量与因变量之间可能是非线性关系（4）纯随机和不可预料的事件。

在总体回归模型（3.2）中参数是未知的，是不可观察的，统计计10,ββi μ量分析的目标之一就是估计模型的未知参数。

给定一组随机样本，对（3.1）式进行估计，若的估计量分别记n i y x i i ,,2,1),,( =10,),|(ββi i x y E 为，则定义3.3式为样本回归函数^1^0^,,ββi y （）i i x y ^1^0^ββ+=n i ,,2,1 =（3.3）注意，样本回归函数随着样本的不同而不同，也就是说是随机变量，^1^0,ββ它们的随机性是由于的随机性（同一个可能对应不同的）与的变异共i y i x i y x 同引起的。

教学辅导教案学生姓名年级高二学科数学上课时间教师姓名课题人教版选修2-3 回归分析的基本思想及其初步应用1．设有一个回归方程为$23y x=+，变量x增加一个单位时，则（）A．y平均增加2个单位B．y平均增加3个单位C．y平均减少2个单位D．y平均减少3个单位2．表中提供了某厂节能降耗技术改造后生产A产品过程中记录的产量x（吨）与相应的生产能耗y（吨标准煤）的几组对应数据．根据下表提供的数据，求出y关于x的线性回归方程为$0.70.35y x=+，那么表中t的值为（）x 3 4 5 6y 2.5 t 4 4.5A．3 B．3.15 C．3.5 D．4.53．为了解某社区居民的家庭年收入所年支出的关系，随机调查了该社区5户家庭，得到如下统计数据表：收入x （万元）8.2 8.6 10.0 11.3 11.9支出y（万元） 6.2 7.5 8.0 8.5 9.8据上表得回归直线方程$$y bx a=+$，其中0.76b=$，$a y bx=-$，据此估计，该社区一户收入为15万元家庭年支出为（）A．11.4万元B．11.8万元C．12.0万元D．12.2万元4．某企业节能降耗技术改造后，在生产某产品过程中几录的产量x（吨）与相应的生产能耗y （吨）的几组对应数据如表所示：x 3 4 5 61y 2.5 3 4 a若根据表中数据得出y关于x的线性回归方程为$0.70.35y x=+，则表中a的值为（）A．3 B．3.15 C．3.5 D．4.55．某车间为了规定工时定额，需要确定加工零件所花费的时间，为此作了四次试验，得到的数据如下：零件的个数x（个） 2 3 4 5加工的时间y（小时） 2.5 3 4 4.5（1）在给定的坐标系中画出表中数据的散点图；（2）求出y关于x的线性回归方程$$y bx a=+$，并在坐标系中画出回归直线；（3）试预测加工10个零件需要多少时间？（注：1221()ni iiniix y nx ybx n x---∑=-∑$，$a y bx=-$）一、散点图1．散点图的概念在考虑两个量的关系时，为了对变量之间的关系有一个大致的了解，人们常将变量所对应的点描出来，这些点就组成了变量之间的一个图，通常称这种图为变量之间的散点图．2．曲线拟合的概念从散点图可以看出如果变量之间存在着某种关系，这些点会有一个集中的大致趋势，这种趋【变式5】在回归分析中，下列说法错误的是（ ） A ．用线性回归模型近似真实模型可产生误差 B ．R 2越大，模型的拟合效果越好 C ．残差平方和越小，模型的拟合效果越好 D ．R 2越大，残差平方和也越大【变式6】给出下列结论，正确的个数是（ ）（1）在回归分析中，可用相关指数R 2的值判断模型的拟合效果，R 2越大，模型的拟合效果越好； （2）在回归分析中，可用残差平方和判断模型的拟合效果，残差平方和越大，模型的拟合效果越好；（3）在回归分析中，可用残差图判断模型的拟合效果，残差点比较均匀地落在水平的带状区域中，说明这样的模型比较合适．带状区域的宽度越窄，说明模型的拟合精度越高． A ．0B ．1C ．2D ．3【变式7】设某大学的女生体重y （单位：kg ）与身高x （单位：cm ）具有线性相关关系，根据一组样本数据（x i ，y i ）（i =1，2，…，n ），用最小二乘法建立的回归方程为$0.8585.71y x =-，则下列结论中不正确的是（ ）A ．身高x 为解释变量，体重y 为预报变量B ．y 与x 具有正的线性相关关系C ．回归直线过样本点的中心（x ，y ）D ．若该大学某女生身高为170cm ，则她的体重必为58.79kg1．给出下列四个命题：①由样本数据得到的回归方程$$y bxa =+$必过样本点的中心（x ，y ）； ②用相关指数R 2来刻画回归效果，R 2的值越小，说明模型的拟合效果越好；③若线性回归方程为$3 2.5y x =-，则变量x 每增加1个单位时，y 平均减少2.5个单位； ④在残差图中，残差点分布的带状区域的宽度越窄，残差平方和越小． 上述四个命题中，正确命题的个数为（ ） A ．1 B ．2 C ．3 D ．4 2．身高与体重的关系可以用________来分析（ ）12．在冬季，某地居民对猪肉的需求情况的一组数据为（右图）： 价格x （万元） 12 11 10 9 需求量y （吨）10111213（1）求出y 对x 的回归方程；（2）如果价格升为14万元/吨，请你预测猪肉的需求量是多少．本章重点：回归分析、残差分析、相关指数的意义以及独立性检验中K 2的有关计算． 本章难点：借助于回归分析的思想选择恰当的模型拟合变量间的相关关系(尤其是非线性的)，由于该部分内容的数据相对较复杂，故在高考中出现大题的可能性不是很大，应以选择、填空题为主，旨在考察对回归方程的求解及预测，K 2的计算等．1．对于线性回归方程$$y bx a =+$，下列说法中不正确的是（ ） A ．样本数据中x =0时，一定有$y a= B ．x 增加一个单位时，y 平均增加b$个单位 C ．样本数据中x =0时，可能有$y a= D ．直线必经过点（x ，y ）2．从某高中随机选取5名高三男生，其身高和体重的数据如下表所示：身高x （cm ） 160 165 170 175 180 体重y （kg ）6366707274根据上表可得回归直线方程$$0.56y x a=+，据此模型预报身高为172cm 的高三男生的体重为据和散点图：定价x（元/kg）10 20 30 40 50 60年销量y（kg）1150 643 424 262 165 86 z=2⋅ln y14.1 12.9 12.1 11.1 10.2 8.9（参考数据：61()()34580i iix x y y=-⋅-=-∑，61()()175.5i iix x z z=-⋅-=-∑，621()776840iiy y=-=∑，61()()3465i iiy y z z=-⋅-=∑）（1）根据散点图判断，y与x，z与x哪一对具有较强的线性相关性（给出判断即可，不必说明理由）？（2）根据（1）的判断结果及数据，建立y关于x的回归方程（方程中的系数均保留两位有效数字）．（3）定价为多少元/kg时，年利润的预报值最大？附：对于一组数据（x1，y1），（x2，y2），…，（x n，y n），其回归直线$$y bx a=+$的斜率和截距的最小二乘估计分别为：1122211()()=()n ni i i ii in ni ii ix y nx y x x y ybx nx x x====--⋅-∑∑=--∑∑$，$a y nbx=-．8．如图是我国2010年至2016年生活垃圾无害化处理量（单位：亿吨）的折线图．注：年份代码1﹣7分别对应年份2010﹣2016．（1）由折线图看出，可用线性回归模型拟合y 与t 的关系，请用相关系数加以证明； （2）建立y 关于t 的回归方程（系数精确到0.01），预测2018年我国生活垃圾无害化处理量． 附注：参考数据：719.32i i y ==∑，7140.17i i i t y ==∑，721()0.55i i y y =-=∑，7 2.646≈．参考公式：12211()()()()ni i i nn i i i i t t y y r t t y y ===--∑=--∑∑，回归方程$$y abt =+$中斜率和截距的最小二乘估计公式分别为：121()()=()ni i i ni i t t y y b t t ==-⋅-∑-∑$，$a y bt =-$．9．为了解某地区某种农产品的年产量x （单位：吨）对价格y （单位：千元/吨）和利润z 的影响，对近五年该农产品的年产量和价格统计如表：x 1 2 3 4 5 y7.06.55.53.82.2一、（第1天）1．已知x与y之间的一组数据：x0 1 2 3y m 3 5.5 7已求得关于y与x的线性回归方程$ 2.10.85y x=+，则m的值为．2．若样本点为（21，2.1）、（23，2.3）、（25，2.8）、（27，3.2）、（29，4.1），则样本点的中心为．3．一工厂生产某种产品的月产量y（单位：万件）与月份x构成的实数对（x，y）在直线y=x+1附近，则估计3月份生产该产品万件．4．已知x，y的取值如表：x0 1 3 4y 2.2 4.3 4.8 6.7从散点图分析，y与x线性相关，则回归方程为$$y bx a=+$必过点．5．某商店统计了最近6个月某商品的进价x与售价y（单位：元）的对应数据如表：x 3 5 2 8 9 12y 4 6 3 9 12 14假设得到的关于x和y之间的回归直线方程是$$y bx a=+$，那么该直线必过的定点是．二、（第2天）1．如果发现散点图中所有的样本点都在一条直线上，则残差平方和等于，解释变量和预报变量之间的相关系数等于．2．已知某回归分析中，模型A的残差图的带状区域宽度比模型B的残差图的带状区域宽度窄，则在该回归分析中拟合精度较高的模型是．3．回归分析是处理变量之间关系的一种数量统计方法．4．对于一组数据的两个函数模型，其残差平方和分别为152.6 和169.8，若从中选取一个拟合程度较好的函数模型，应选残差平方和为的那个．。

回归分析与相关分析回归分析是通过建立一个数学模型来研究自变量对因变量的影响程度。

回归分析的基本思想是假设自变量和因变量之间存在一种函数关系，通过拟合数据来确定函数的参数。

回归分析可以分为线性回归和非线性回归两种。

线性回归是指自变量和因变量之间存在线性关系，非线性回归是指自变量和因变量之间存在非线性关系。

回归分析可用于预测、解释和控制因变量。

回归分析的应用非常广泛。

例如，在经济学中，回归分析可以用于研究收入与消费之间的关系；在医学研究中，回归分析可以用于研究生活方式与健康之间的关系。

回归分析的步骤包括确定自变量和因变量、选择合适的回归模型、拟合数据、检验模型的显著性和解释模型。

相关分析是一种用来衡量变量之间相关性的方法。

相关分析通过计算相关系数来度量变量之间的关系的强度和方向。

常用的相关系数有Pearson相关系数、Spearman相关系数和判定系数。

Pearson相关系数适用于连续变量，Spearman相关系数适用于顺序变量，判定系数用于解释变量之间的关系。

相关分析通常用于确定两个变量之间是否相关，以及它们之间的相关性强度和方向。

相关分析的应用也非常广泛。

例如，在市场研究中，相关分析可以用于研究产品价格与销量之间的关系；在心理学研究中，相关分析可以用于研究学习成绩与学习时间之间的关系。

相关分析的步骤包括确定变量、计算相关系数、检验相关系数的显著性和解释相关系数。

回归分析与相关分析的主要区别在于它们研究的对象不同。

回归分析研究自变量与因变量之间的关系，关注的是因变量的预测和解释；相关分析研究变量之间的关系，关注的是变量之间的相关性。

此外，回归分析通常是为了解释因变量的变化，而相关分析通常是为了量化变量之间的相关性。

综上所述，回归分析和相关分析是统计学中常用的两种数据分析方法。

回归分析用于确定自变量与因变量之间的关系，相关分析用于测量变量之间的相关性。

回归分析和相关分析在实践中有广泛的应用，并且它们的步骤和原理较为相似。

第三章_回归分析基本方法最小二乘法回归分析是统计学中一种通过建立变量之间的关系模型来预测或解释变量之间关系的方法。

最常用的回归分析方法之一是最小二乘法。

最小二乘法是一种通过最小化观测值与预测值之间的误差平方和来估计模型参数的方法。

最小二乘法的基本原理是寻找一条直线或曲线，使得该直线或曲线上的点到各观测值的距离之和最小。

最小二乘法的数学表达式可以表示为：$$\min_{\beta_0,\beta_1,...,\beta_k} \sum_{i=1}^{n}(y_i -(\beta_0 + \beta_1x_{i1} + ... + \beta_kx_{ik}))^2$$其中，$y_i$为观测值，$x_{ij}$为自变量，$\beta_0$为截距，$\beta_1$到$\beta_k$为模型参数。

在实际应用中，最小二乘法可以应用于各种回归模型，如简单线性回归、多元线性回归、非线性回归等。

简单线性回归是最简单的回归模型，假设自变量和因变量之间存在线性关系。

简单线性回归的数学表达式为：$$y = \beta_0 + \beta_1x + \epsilon$$其中，$y$为因变量，$x$为自变量，$\beta_0$为截距，$\beta_1$为斜率，$\epsilon$为误差项。

通过最小二乘法求解简单线性回归模型的参数$\beta_0$和$\beta_1$，可以得到回归方程的估计值。

利用回归方程，可以对因变量进行预测或解释。

多元线性回归是简单线性回归的扩展，假设自变量和因变量之间存在线性关系，但自变量有多个。

多元线性回归的数学表达式为：$$y = \beta_0 + \beta_1x_1 + \beta_2x_2 + ... + \beta_kx_k + \epsilon$$其中，$y$为因变量，$x_1$到$x_k$为自变量，$\beta_0$为截距，$\beta_1$到$\beta_k$为斜率，$\epsilon$为误差项。

第3章 多元线性回归思考与练习参考答案3.2 讨论样本容量n 与自变量个数p 的关系，它们对模型的参数估计有何影响？答：在多元线性回归模型中，样本容量n 与自变量个数p 的关系是：n>>p 。

如果n<=p 对模型的参数估计会带来很严重的影响。

因为： 1. 在多元线性回归模型中，有p+1个待估参数β，所以样本容量的个数应该大于解释变量的个数，否则参数无法估计。

2. 解释变量X 是确定性变量，要求()1rank p n =+<X ，表明设计矩阵X 中的自变量列之间不相关，即矩阵X 是一个满秩矩阵。

若()1rank p <+X ，则解释变量之间线性相关，1()X X -'是奇异阵，则β的估计不稳定。

3.3证明随机误差项ε的方差σ2的无偏估计。

证明:22122222111112221111ˆ(),111()()(1)(1)()(1)1ˆ()()1n i i n n nnnii ii iiii i i i i i ni i SSE e e e n p n p n p E e D e h h n h n p E E e n p σσσσσσσ======='===------∴==-=-=-=--∴==--∑∑∑∑∑∑∑3.4 一个回归方程的复相关系数R=0.99，样本决定系数R 2=0.9801，我们能判断这个回归方程就很理想吗？ 答：不能断定这个回归方程理想。

因为：1. 在样本容量较少，变量个数较大时，决定系数的值容易接近1，而此时可能F 检验或者关于回归系数的t 检验，所建立的回归方()1ˆ2--=p n SSE σ程都没能通过。

2. 样本决定系数和复相关系数接近于1只能说明Y 与自变量X1,X2,…,Xp 整体上的线性关系成立，而不能判断回归方程和每个自变量是显著的，还需进行F 检验和t 检验。

3. 在应用过程中发现，在样本容量一定的情况下，如果在模型中增加解释变量必定使得自由度减少，使得 R 2往往增大，因此增加解释变量（尤其是不显著的解释变量）个数引起的R 2的增大与拟合好坏无关。

第三章 回歸分析 §1 一元線性回歸 一、回歸模型設隨機變數y 與引數x 之間存在線性關係，它們的第i 次觀測數據是：(xi,yi)(i=1,2,…,n)那麼這組數據可以假設具有如下的數學結構式：i i i x y εββ++=0（i=1,…,n ）,其中β0, β為待估參數，),0(~2σεN i ，且n εεε,,,21 相互獨立，這就是一元線性回歸的數學模型。

二、參數估計 1.回歸係數設b0和b 分別是參數β0, β的最小二乘估計，於是一元線性回歸方程為：i i bx b y+=0ˆ （i=1,2,…,n ） b0,b 叫做回歸係數，它使偏差平方和∑∑==--=-=ni i i ni i i bx b y yy Q 12012)()ˆ(取最小值。

由 ⎝⎛=---=∂∂=---=∂∂∑∑==0)(20)(210100ni i i i ni i i x bx b y b Q bx b y b Q整理得正規方程組： 020()()()i ii i i inb x b y x b x b x y +∑=∑⎛∑+∑=∑⎝解得 xx xy S S b x b y b /,0=-= 其中 222)(x n x x x S i i xx -∑=-∑=y x n y x y y x x S i i i i xy -∑=--∑=))((另外 y n y y y S i i yy -∑=-∑=22)( 2.最小二乘估計b0,b 的統計性質 (1)E(b)= β,E(b0)= β0即b0,b 分別是β0，β的無偏估計 (2)22()/()i D b x x σ=∑-22201()[/()]i D b x x x nσ=+∑-即回歸係數b0,b 與σ2，x 的波動大小有關，b0還與n 有關，這就是說，x 值越分散，數據越多，估計b0,b 越精確。

三、假設檢驗 1.回歸方程顯著性檢驗欲檢驗y 與x 之間是否有線性關係，即檢驗假設H0：β＝0。