最新多元回归分析原理及例子
- 格式：doc
- 大小：1.11 MB
- 文档页数：58
多元回归分析原理及例子 精品好文档，推荐学习交流
仅供学习与交流，如有侵权请联系网站删除 谢谢48 多元回归分析原理
回归分析是一种处理变量的统计相关关系的一种数理统计方法。回归分析的基本思想是: 虽然自变量和因变量之间没有严格的、确定性的函数关系, 但可以设法找出最能代表它们之间关系的数学表达形式。
回归分析主要解决以下几个方面的问题:
(1) 确定几个特定的变量之间是否存在相关关系, 如果存在的话, 找出它们之间合适的数学表达式;
(2) 根据一个或几个变量的值, 预测或控制另一个变量的取值, 并且可以知道这种预测或控制能达到什么样的精确度;
(3) 进行因素分析。例如在对于共同影响一个变量的许多变量(因素)之间, 找出哪些是重要因素,
哪些是次要因素, 这些因素之间又有什么关系等等。
回归分析有很广泛的应用, 例如实验数据的一般处理, 经验公式的求得, 因素分析, 产品质量的控制, 气象及地震预报, 自动控制中数学模型的制定等等。
多元回归分析是研究多个变量之间关系的回归分析方法, 按因变量和自变量的数量对应关系可划分为一个因变量对多个自变量的回归分析(简称为“一对多”回归分析)及多个因变量对多个自变量的回归分析(简称为“多对多”回归分析), 按回归模型类型可划分为线性回归分析和非线性回归分析。
本“多元回归分析原理”是针对均匀设计3.00软件的使用而编制的, 它不是多元回归分析的全面内容, 欲了解多元回归分析的其他内容请参阅回归分析方面的书籍。
本部分内容分七个部分, §1～§4介绍“一对多”线性回归分析, 包括数学模型、回归系数估计、回归方程及回归系数的显著性检验、逐步回归分析方法。“一对多”线性回归分析是多元回归分析的基础, “多对多”回归分析的内容与“一对多”的相应内容类似, §5介绍“多对多”线性回归的数学模型, §6介绍“多对多”回归的双重筛选逐步回归法。§7简要介绍非线性回归分析。
§1 一对多线性回归分析的数学模型
§2 回归系数的最小二乘估计
§3 回归方程及回归系数的显著性检验
§4 逐步回归分析
§5 多对多线性回归数学模型
§6 双重筛选逐步回归
§7 非线性回归模型
§1 一对多线性回归分析的数学模型
设随机变量与个自变量存在线性关系: 精品好文档，推荐学习交流
仅供学习与交流，如有侵权请联系网站删除 谢谢48
, (1.1)
(1.1)式称为回归方程,
式中为回归系数, 为随机误差。
现在解决用估计的均值的问题,
即
,
且假定, , 是与无关的待定常数。
设有组样本观测数据:
其中表示在第次的观测值,
于是有:
, (1.2)
其中为个待定参数, 为个相互独立的且服从同一正态分布的随机变量, (1.2)式称为多元(元)线性回归的数学模型。
(1.2)式亦可写成矩阵形式, 设
,
,
,
,
则(1.2)式变为:
, (1.3)
(1.3)式称为多元线性回归模型的矩阵形式。
§2
回归系数的最小二乘估计
设分别为的最小二乘估计值, 于是的观测值
, , (2.1)
其中为误差的估计值,
称为残差或剩余。令为的估计值, 则有
, (2.2) 精品好文档，推荐学习交流
仅供学习与交流，如有侵权请联系网站删除 谢谢48
, , (2.3)
(2.3)式表示实际值与估计值的偏离程度。欲使估计值与实际值拟合的最好,
则应使残差平方和
达到最小,
为此, 我们可以应用微分求极值原理确定, 即解下列方程组
, (2.4)
即
, (2.5)
整理并化简则得以下正规方程组:
, (2.6)
如果记(2.6)式的系数矩阵为, 右端常数项矩阵记为, 则有
, (2.7) 精品好文档，推荐学习交流
仅供学习与交流，如有侵权请联系网站删除 谢谢48
, (2.8)
因此正规方程(2.6)的矩阵形式为
, (2.9)
或
, (2.10)
其中为正规方程中待定的未知实数向量, 如果系数矩阵满秩, 则存在, 此时有
, (2.11)
(2.11)式即为多元线性回归模型(1.2)式中参数的最小二乘估计。
正规方程组(2.6)亦可表达为下述另一种形式, 如果记
, ,
,
则由(2.6)式中第一等式可解出
, (2.12)
再将(2.12)代入到(2.6)其它各式中并经化简整理可得
, (2.13)
又由
, , 精品好文档，推荐学习交流
仅供学习与交流，如有侵权请联系网站删除 谢谢48
, ,
如果记
, , (2.14)
, , (2.15)
则(2.13)式可以表示为
, (2.16)
(2.16)式称为正规方程组, 解此方程组可得,
再代入到(2.12)式中则得,
于是得回归方程
, (2.17)
(2.17)式称为回归超平面方程。
如果记(2.16)式的系数矩阵为, 右端常数项向量为, 则
,
,
且记, 则正规方程组(2.16)的矩阵形式为
, (2.18)
解(2.18)得
, (2.19)
再代回到(2.12), 则得到。
以下是一对多线性回归分析的两个例子。
例2.1 某养猪场估算猪的毛重, 测得14头猪的体长(cm)、胸围(cm)与体重(kg)数据如表１, 试建立与及的预测方程。
表2.1 精品好文档，推荐学习交流
仅供学习与交流，如有侵权请联系网站删除 谢谢48 序号 体长()
胸围() 体重()
1 41 49 28
2 45 58 39
3 51 62 41
4 52 71 44
5 59 62 43
6 62 74 50
7 69 71 51
8 72 74 57
9 78 79 63
10 80 84 66
11 90 85 70
12 92 94 76
13 98 91 80
14 103 95 81
经计算: , , , ,
,
,
,
,
,
于是正规方程组为
,
解此方程组得
, ,
又
,
因此所求预测回归方程为
回归方程中系数与的含义是体长每增加1cm, 则猪体重毛重平均增加0.522kg, 胸围每增加1cm, 则猪体重毛重平均增加0.475kg。 精品好文档，推荐学习交流
仅供学习与交流，如有侵权请联系网站删除 谢谢48
例2.2 某地区二化螟的第一代成虫发生量与四个因素有关, 这四个因素分别如下,
已知原始观测数据如表2.2, 试建立二化螟发生总量的回归方程。
: 冬季积雪期限(单位为周),
: 每年化雪日期(以2月1日为1),
: 二月份平均气温(℃),
: 三月份平均气温(℃),
: 二化螟发生总量(头),
经计算:
,
,
表2.2
序号
1 10 26 0.2 3.6 9
2 12 26 -1.4 4.4 17
3 14 40 -0.8 1.7 34
4 16 32 0.2 1.4 42
5 19 51 -1.4 0.9 40
6 16 33 0.2 2.1 27
7 7 26 2.7 2.7 4
8 7 25 1.0 4.0 27
9 12 17 2.2 3.7 13
10 11 24 -0.8 3.0 56
11 12 16 -0.5 4.9 15
12 7 16 2.0 4.1 8
13 11 15 1.1 4.7 20
154 347 4.7 41.2 312
11.8462 26.6923 0.3615 3.1692 24
,
于是 精品好文档，推荐学习交流
仅供学习与交流，如有侵权请联系网站删除 谢谢48
,
又
＝24 + 0.99742×11.8462 + 1.62581×26.6923 + 11.19263×0.3615 +
16.95291×3.1692 ＝ 136.98554,
因此所求二化螟发生总量的预测回归方程为
。
§3 回归方程及回归系数的显著性检验
１、回归方程的显著性检验
(1) 回归平方和与剩余平方和
建立回归方程以后,
回归效果如何呢？因变量与自变量是否确实存在线性关系呢？这是需要进行统计检验才能加以肯定或否定, 为此, 我们要进一步研究因变量取值的变化规律。的每次取值是有波动的,
这种波动常称为变差,
每次观测值的变差大小, 常用该次观侧值与次观测值的平均值的差(称为离差)来表示, 而全部次观测值的总变差可由总的离差平方和
,
其中:
称为回归平方和, 是回归值与均值之差的平方和, 它反映了自变量的变化所引起的的波动, 其自由度(为自变量的个数)。
称为剩余平方和(或称残差平方和),
是实测值与回归值之差的平方和, 它是由试验误差及其它因素引起的, 其自由度。总的离差平方和的自由度为。
