多元回归分析原理及
例子
多元回归分析原理
回归分析是一种处理变量的统计相关关系的一种数理统计方法。回归分析的基本思想是: 虽然
自变量和因变量之间没有严格的、确定性的函数关系, 但可以设法找出最能代表它们之间关系的数
学表达形式。
回归分析主要解决以下几个方面的问题:
(1) 确定几个特定的变量之间是否存在相关关系, 如果存在的话, 找出它们之间合适的数学表达式;
(2) 根据一个或几个变量的值, 预测或控制另一个变量的取值, 并且可以知道这种预测或控制能达
到什么样的精确度;
(3) 进行因素分析。例如在对于共同影响一个变量的许多变量(因素)之间, 找出哪些是重要因素,
哪些是次要因素, 这些因素之间又有什么关系等等。
回归分析有很广泛的应用, 例如实验数据的一般处理, 经验公式的求得, 因素分析, 产品质量
的控制, 气象及地震预报, 自动控制中数学模型的制定等等。
多元回归分析是研究多个变量之间关系的回归分析方法, 按因变量和自变量的数量对应关系可
划分为一个因变量对多个自变量的回归分析(简称为“一对多”回归分析)及多个因变量对多个自变
量的回归分析(简称为“多对多”回归分析), 按回归模型类型可划分为线性回归分析和非线性回归
分析。
本“多元回归分析原理”是针对均匀设计3.00软件的使用而编制的, 它不是多元回归分析的
全面内容, 欲了解多元回归分析的其他内容请参阅回归分析方面的书籍。
本部分内容分七个部分, §1～§4介绍“一对多”线性回归分析, 包括数学模型、回归系数
估计、回归方程及回归系数的显著性检验、逐步回归分析方法。“一对多”线性回归分析是多元回
归分析的基础, “多对多”回归分析的内容与“一对多”的相应内容类似, §5介绍“多对多”线
性回归的数学模型, §6介绍“多对多”回归的双重筛选逐步回归法。§7简要介绍非线性回归分析。
§1 一对多线性回归分析的数学模型
§2 回归系数的最小二乘估计
§3 回归方程及回归系数的显著性检验
§4 逐步回归分析
§5 多对多线性回归数学模型
§6 双重筛选逐步回归
§7 非线性回归模型
§1 一对多线性回归分析的数学模型
设随机变量与个自变量存在线性关系:
, (1.1)
(1.1)式称为回归方程, 式中为回归系数, 为随机误差。
现在解决用估计的均值的问题, 即
,
且假定, , 是与无关的待定常数。
设有组样本观测数据:
其中表示在第次的观测值, 于是有:
, (1.2)
其中为个待定参数, 为个相互独立的且服从同一正态分布
的随机变量, (1.2)式称为多元(元)线性回归的数学模型。
(1.2)式亦可写成矩阵形式, 设
,
,
,
,
则(1.2)式变为:
, (1.3)
(1.3)式称为多元线性回归模型的矩阵形式。
§2 回归系数的最小二乘估计
设分别为的最小二乘估计值, 于是的观测值
, , (2.1)
其中为误差的估计值, 称为残差或剩余。令为的估计值, 则有
, (2.2)
, , (2.3)
(2.3)式表示实际值与估计值的偏离程度。欲使估计值与实际值拟合的最好, 则应使残差平方和
达到最小, 为此, 我们可以应用微分求极值原理确定, 即解下列方程组
, (2.4)
即
, (2.5)
整理并化简则得以下正规方程组:
, (2.6)
如果记(2.6)式的系数矩阵为, 右端常数项矩阵记为, 则有
, (2.7)
, (2.8)
因此正规方程(2.6)的矩阵形式为
, (2.9)
或
, (2.10)
其中为正规方程中待定的未知实数向量, 如果系数矩阵满秩, 则存在, 此时有
, (2.11)
(2.11)式即为多元线性回归模型(1.2)式中参数的最小二乘估计。
正规方程组(2.6)亦可表达为下述另一种形式, 如果记
, ,
,
则由(2.6)式中第一等式可解出
, (2.12)
再将(2.12)代入到(2.6)其它各式中并经化简整理可得
, (2.13)
又由
, ,
, ,
如果记
, , (2.14)
, , (2.15)
则(2.13)式可以表示为
, (2.16)
(2.16)式称为正规方程组, 解此方程组可得, 再代入到(2.12)式中则得, 于是得回归方程
, (2.17)
(2.17)式称为回归超平面方程。
如果记(2.16)式的系数矩阵为, 右端常数项向量为, 则
,
,
且记, 则正规方程组(2.16)的矩阵形式为
, (2.18)
解(2.18)得
, (2.19)
再代回到(2.12), 则得到。
以下是一对多线性回归分析的两个例子。
例2.1某养猪场估算猪的毛重, 测得14头猪的体长(cm)、胸围(cm)与体重(kg)数据如表１, 试建立与及的预测方程。
表2.1
序号体长()胸围()体重() 1414928
2455839
3516241
4527144
5596243
6627450
7697151
8727457
9787963
10808466
11908570
12929476
13989180
141039581
经计算: , , , ,
,
,
,
,
,
于是正规方程组为
,
解此方程组得
, ,
又
,
因此所求预测回归方程为
回归方程中系数与的含义是体长每增加1cm, 则猪体重毛重平均增加0.522kg, 胸围每增加1cm, 则猪体重毛重平均增加0.475kg。
