第十一章(理) 第四节 正态分布、线性回归

线性回归分析的基本原理线性回归分析是一种常用的统计分析方法，用于研究两个变量之间的线性关系。

它通过拟合一条直线来描述两个变量之间的关系，并利用这条直线进行预测和推断。

本文将介绍线性回归分析的基本原理，包括模型假设、参数估计、模型评估等内容。

一、模型假设线性回归分析的基本假设是：自变量和因变量之间存在线性关系，并且误差项服从正态分布。

具体来说，线性回归模型可以表示为：Y = β0 + β1X + ε其中，Y表示因变量，X表示自变量，β0和β1表示模型的参数，ε表示误差项。

线性回归模型假设误差项ε服从均值为0、方差为σ^2的正态分布。

二、参数估计线性回归模型的参数估计通常使用最小二乘法。

最小二乘法的基本思想是通过最小化观测值与模型预测值之间的差异来估计模型的参数。

具体来说，最小二乘法的目标是最小化残差平方和：min Σ(Yi - (β0 + β1Xi))^2通过对残差平方和进行求导，可以得到参数的估计值：β1 = Σ(Xi - X̄)(Yi - Ȳ) / Σ(Xi - X̄)^2β0 = Ȳ - β1X̄其中，Xi和Yi分别表示观测值的自变量和因变量，X̄和Ȳ分别表示自变量和因变量的均值。

三、模型评估线性回归模型的拟合程度可以通过多个指标进行评估，包括决定系数（R^2）、标准误差（SE）和F统计量等。

决定系数是用来衡量模型解释变量变异性的比例，其取值范围为0到1。

决定系数越接近1，说明模型对观测值的解释能力越强。

标准误差是用来衡量模型预测值与观测值之间的平均误差。

标准误差越小，说明模型的预测精度越高。

F统计量是用来检验模型的显著性。

F统计量的计算公式为：F = (SSR / k) / (SSE / (n - k - 1))其中，SSR表示回归平方和，SSE表示残差平方和，k表示模型的自由度，n表示观测值的个数。

F统计量的值越大，说明模型的显著性越高。

四、模型应用线性回归分析可以用于预测和推断。

通过拟合一条直线，可以根据自变量的取值来预测因变量的值。

正态分布与线性回归1 已知连续型随机变量ζ的概率密度函数⎪⎩⎪⎨⎧>≤≤+<=)2(0)20(1)0(0)(x x kx x x f ，且f(x) ≥0，求常数k 的值，并计算概率P(1.5≤ξ<2.5)。

分析:凡是计算连续型随机变量ξ的密度函数f(x)中的参数、概率P(a ≤ξ≤b)都需要通过求面积来转化而求得。

若f(x) ≥0且在[a ，b]上为线性，那么P(a ≤ξ≤b)的值等于以b-a 为高，f(a)与f(b)为上、下底的直角梯形的面积，即1()[()()]()2P a b f a f b b a ξ≤≤=+-。

解: ∵1()(0)(02)(2)P P P P εξξξ=-∞<<+∞=-∞<<+≤≤+<<+∞0(02)0P ξ=+≤≤+1[(0)(2)](20)(0)(2)222f f f f k =+-=+=+∴21-=k ；∴1(1.5 2.5)(1.52)(2 2.5)(1.52)16P P P P ξξξξ≤<=≤≤+<<=≤≤=。

2 设),(~2σμN X ，且总体密度曲线的函数表达式为：412221)(+--=x x ex f π，x ∈R 。

（1）求μ，σ；（2）求)2|1(|<-x P 及)22121(+<<-x P 的值。

分析：根据表示正态曲线函数的结构特征，对照已知函数求出μ和σ。

利用一般正态总体),(2σμN 与标准正态总体N （0，1）概率间的关系，将一般正态总体划归为标准正态总体来解决。

解：（1）由于222)2(2)1(41222121)(--+--⋅==x x x eex f ππ，根据一般正态分布的函数表达形式，可知μ=1，2=σ，故X ～N （1，2）。

（2）)2121()2|1(|+<<-=<-x P x P2121(12)(12)()()22(1)(1)2(1)120.84131F F 1+-1--=+--=Φ-Φ=Φ-Φ-=Φ-=⨯- 6826.0=。

线性回归中的正态分布统计方法一般都有其适用的条件，或者说是必须满足的统计假设。

使用线性回归需要满足线性、独立性、正态性、方差齐性、自变量间不存在多重共线、因变量为连续变量。

不考虑前提条件地生搬硬套，也不对模型进行诊断，只能是“Garbage in，garbage out”。

今天谈谈线性回归的正态性检验的方法论。

首先要弄清楚线性回归模型中正态分布的概念。

有人在进行线性回归模型的正态性检验时，直接将对因变量进行检验，这实际上是对线性回归正态性检验的误解。

001。

当自变量为分类变量、因变量为连续变量时，也是可以采用线性回归的。

只是在更多的时候，这种类型的分析我们更关注的是组间差异比较而不是线性回归预测，通常采用方差分析或者t检验，尤其是自变量只有1个对的时候。

模型假定不同的组来自同一个总体中的抽样，各组（严格说应该是各个单元格）的残差服从同一个正态分布，不同组的残差均服从同一个均数为0标准差为σ2的正态分布。

在实际考察的时候我们往往直接考察固定的自变量值（不同的组）对应的因变量值是否呈正态分布。

比如4个随机分组的方差分析，想要考察的分组变量即为自变量，该自变量有4个水平，可以被赋值为1、2、3、4，此时的分类自变量每个水平都有多个相同的取值，可以分别考察自变量等于1、2、3、4时对应的因变量是否满足正态分布，只有1个因素考察因变量残差与直接考察因变量是一致的。

当然我们也可以采用了线性回归进行分析，为了消除赋值带来的误差，多分类的自变量在线性回归模型中需要设置成哑变量，结果同方差分析是一致的。

今天我们重点讨论的是第二种情况：当自变量为连续变量时。

此时自变量每个“水平”的取值往往只有有限几个甚至只有1个，其对应的因变量观测值也只有几个甚至1个，毕竟每个自变量一次抽样只能对应一个因变量值，很显然这么小的样本量没法直接像自变量为分类变量那样考察每个“水平”的因变量值是否正态。

而且连续性变量取值往往较多，即使我们的样本量足够大，自变量的每一个固定值有多个取值，这种考察正态性的工作量也会变的很大。