数理统计-线性回归

第11章 回归分析设x 为普通变量，Y 为随机变量。

如果当x 变化时，Y 随着x 的变化大体上按某种趋势变化，则称x 与Y 之间存在相关关系，即),0(~,)(2σεεN x f Y +=例如，某地人均收入x 与某种商品的消费量Y 之间的关系；森林中树木的断面直径x 与高度Y 之间的关系；某种商品的价格x 与销售量Y 之间的关系；施用氮肥、磷肥、钾肥数量1x ，2x ，3x 与某种农作物产量Y 之间的关系。

在生产实践和科学研究中，常常有这样的问题：由实验或测量得到变量间的一批离散样点，要求由此建立变量之间的近似函数关系或得到样点之外的数据。

我们确定的函数要求在某种距离意义下的误差达到最小（通常用最小二乘法，即考虑使各数据点误差平方和最小）。

由一个（或几个）普通变量来估计或预测某个随机变量的取值时，所建立的数学模型及所进行的统计分析称为回归分析。

§11.1 一元线性回归假设有一批关于x 与Y 的离散样点),(,),,(),,(2211n n y x y x y x集中在一条直线附近，说明x 与Y 之间呈线性相关关系，即),0(~,2σεεN bx a Y ++=称为一元线性回归模型。

一、模型中的参数估计 1、b a ,的估计 首先引进记号∑∑∑∑∑=====-=-=-===ni i i xy ni i yy ni i xx ni ini iyx n y x S y n y S x n x S y n y x n x 11221221111按最小二乘法可得到xxxyS S b =ˆ x b y a ˆˆ-= 称x b a yˆˆˆ+=为Y 关于x 的一元线性回归方程。

2、2σ的估计)ˆ(21ˆ22xx yy S b S n --=σ求出关于的一元线性回归方程。

解：先画出散点图如下计算出 3985193282503.6714510======xy yy xx S S S y x n483.0ˆ==xxxyS S b 735.2ˆˆ-=-=x b y a所求的回归方程是x y483.0735.2ˆ+-=。

Y 0 1Z1 2 Z2 3Z3 k Zk
（4-1）
, zki 是 k 个对 Y 有显
其中 j ( j 1,2,
, k ) 是回归系数，Y 是被解释变量， z1i , z2i ,
著影响的解释变量 (k 2) ， i 是反映各种误差扰动综合影响的随机项，下标 i 表 示第 i 期观察值 (Yi , z1i , z2i ,
, zki ), i 1,2,
2
,n 。
ˆ ˆZ ˆ Z ˆZ ˆ 假设多元样本回归函数为：Y i 0 1 1i 2 2i 3 3i
ˆ。 差为： i Yi Y i
由于有 n 期的观察值，这一模型实际上包含 n 个方程：
Y2 0 1Z12 Yn 0 1Z1n
另 V 对 b0 ,
bk zki )]2
（4-3）
, bk 的一阶偏导数都等于 0，即下列方程组：
2[Y (b
i
0
b1 z1i b1 z1i b1 z1i
bk zki )]( 1) 0, bk zki )]( z1i ) 0, bk zki )]( zki ) 0
把样本数据分别代入样本回归方程，得到回归方程组为：
ˆ b bz Y 1 0 1 11 ˆ b bz Y n 0 1 1n bk zk 1 ,
（4-4）
（4-5）
bk zkn
写成等价的向量方程，则为：
ˆ ZB Y
这样回归残差向量为：
ˆ Y ZB Y Y
再利用向量，矩阵的运算法则，可以得到残差平方和为：
k Zk ，
, bk 分 别 表 示 模 型 参 数 0 ,

调整R方值 考虑到自变量数量的R方值，用 于比较不同模型之间的拟合优度。 调整R方值越接近于1，说明模型 拟合优度越好。
残差图 通过观察残差与实际观测值之间 的关系，判断模型是否符合线性 关系、是否存在异方差性等。
05
逻辑回归分析
逻辑回归模型
01
逻辑回归模型是一种用于解决 二分类问题的统计方法，基于 逻辑函数将线性回归的预测值 转换为概率形式。
多元非线性回归模型
在多个自变量X1, X2, ..., Xp的条件下，预测因变量Y的非线性数 学模型。模型形式为Y = f(β0, β1*X1, β2*X2, ... , βp*Xp)，其
中f表示非线性函数。
多元逻辑回归模型
用于预测分类结果的多元回归模型，适用于因变量Y为二分 类或多分类的情况。
多重共线性问题
非线性回归模型是指因变量和自 变量之间的关系不是线性的，需 要通过变换或参数调整来拟合数 据。
形式
非线性回归模型通常采用指数函 数对数函数、多项式函数等形 式来表达。
适用范围
非线性回归模型适用于因变量和 自变量之间存在非线性关系的情 况，例如生物医学、经济学、社 会学等领域。
常用非线性回归模型
指数回归模型
线性回归模型假设因变量和自变 量之间存在一种线性关系，即当 一个自变量增加或减少时，因变 量也会以一种恒定的方式增加或 减少。
最小二乘法
01
02
03
最小二乘法是一种数学 优化技术，用于估计线
性回归模型的参数。
最小二乘法的目标是找 到一组参数，使得因变 量的观测值与预测值之
间的平方和最小。
最小二乘法的数学公式为： β=(XTX)^(-1)XTY，其中 X是自变量的数据矩阵，Y 是因变量的数据向量，β

有了观测数据 (xi1, xi2 ,, xip , yi ) 后，同样可以用最小 二乘法获得参数 b0 , b1,, bp的最小二乘估计，记为 bˆ0 , bˆ1,, bˆp ，得多元线性回归方程：
yˆ bˆ0 bˆ1x1 bˆp x p （7）
同理，（7）式是否真正描述了 y 与 x1, x2 ,, x p 的客观存在的关系还需进一步检验
yˆ y bˆ(x x) （11）
（11）式给出了最小二乘估计的几何意义．当给定 样本观察值 (x1, y1 ), (x2 , y2 ),, (xn , yn ) 后，散点图中 直线很多.选取点 (xi , yi ) ，i 1,2,, n ，与诸直线的 偏差平方和最小的这条直线是一条通过散点图的几 何中心 (x, y) ，斜率为 bˆ 的直线，可以证明，在某 些假设下，aˆ 与 bˆ 是所有线性无偏估计中最好的.
n
n
n
a
i1
xi
b
i 1
x2i

i 1
xi yi
称为正规方程组，记
x

1 n
n i 1
xi
1 n
y n i1 yi
（9）
xi
由于 xi不完全相同，正规方程组的系数行列式
n
n
xi
i 1
n
xi
i 1
n x2i

n
n
i 1
x2i

9
11.5 11.3
10
13.3 12.0
解： 为求线性回归方程，计算得
x
1 10
10 i 1
xi
11.73
故
10