第七讲 线性回归分析

线性回归分析线性回归是一种用来建立和预测变量间线性关系的统计分析方法。

它可以帮助我们了解变量之间的相互影响和趋势，并将这些关系用一条直线来表示。

线性回归分析常被应用于经济学、社会科学、自然科学和工程等领域。

一、概述线性回归分析是一个广泛使用的统计工具，用于建立变量间的线性关系模型。

该模型假设自变量（独立变量）与因变量（依赖变量）之间存在线性关系，并通过最小化观测值与模型预测值之间的误差来确定模型的参数。

二、基本原理线性回归分析基于最小二乘法，通过最小化观测值与模型预测值之间的残差平方和来确定模型的参数。

具体来说，线性回归模型可以表示为：Y = β0 + β1X1 + β2X2 + ... + βnXn + ε，其中Y是因变量，X1到Xn是自变量，β0到βn是回归系数，ε是误差项。

回归系数表示自变量对因变量的影响程度。

三、应用步骤进行线性回归分析时，通常需要以下几个步骤：1. 收集数据：获取自变量和因变量的样本数据。

2. 建立模型：根据数据建立线性回归模型。

3. 评估模型的准确性：通过计算残差、决定系数等指标来评估模型的准确性。

4. 进行预测和推断：利用模型对未知数据进行预测和推断。

四、模型评价指标在线性回归分析中，有几个常用的指标用于评价模型的准确性：1. R平方值：R平方值表示因变量的变异性能够被模型解释的比例，数值范围为0到1。

R平方值越接近1，表示模型对数据的拟合程度越好。

2. 残差分析：进行残差分析可以帮助我们判断模型是否符合线性回归的基本假设。

一般来说，残差应该满足正态分布、独立性和等方差性的假设。

五、优缺点线性回归分析有以下几个优点：1. 简单易懂：线性回归模型的建立和解释相对较为简单，无需复杂的数学知识。

2. 实用性强：线性回归模型适用于很多实际问题，可以解决很多预测和推断的需求。

然而，线性回归分析也存在以下几个缺点：1. 假设限制：线性回归模型对于变量间关系的假设比较严格，不适用于非线性关系的建模。

DW检验。（零假设：总体的自相关系数ρ与0无显著差异。）

当随机扰动项存在序列相关时，进行Durbin-Watson检验：
2 ( e e ) i i 1 i 2 2 e i i 2 n n
DW

0<DW<dL:随机扰动项存在一阶正序列相关； 4-dL<DW<4：随机扰动项存在一阶负序列相关；


调整的可决系数： R 2 1 SSE /(n k 1) （多元线性回归方 SST /(n 1) 程） ① 解释变量增多时，SSE减少，R2增加；
② 有重要“贡献”的解释变量出现。
2）回归方程整体显著性检验

包含回归方程的显著性检验和回归系数的显著性检验两个部 分。 回归方程的显著性检验：检验线性关系是否显著

，
服从自由度为n-2的t分布。
定序变量的相关分析-Spearman

ui和vi分别表示变量 x和 y的秩变量，用di=ui-vi表示第i个样 n 本对应于两变量的秩之差。 2 Spearman秩相关公式：
rs 1 6 d i
i 1 2

n( n 1)
两变量正相关，秩变化有同步性，r趋向于1；



一般步骤： 1. 确定回归方程中的解释变量和被解释变量 2. 确定回归模型 3. 建立回归方程 4. 对回归方程进行各种检验 5. 利用回归方程进行预测
线性回归

数学模型： yi 0 1 xi1 2 xi 2 k xik i 使用最小二乘法对模型中的回归系数进行估计，得到样本 ^ ^ ^ ^ 回归函数：yi 0 1 xi1 2 xi 2 k xik ei

21
多元回归分析中的其他问题 u变量筛选问题 Ø向前筛选策略
解释变量不断进入回归方程的过程，首先选择与被解释变量具有最高 线性相关系数的变量进入方程，并进行各种检验；其次在剩余的变量中挑 选与解释变量偏相关系数最高并通过检验的变量进入回归方程。 Ø向后筛选策略
变量不断剔除出回归方程的过程，首先所有变量全部引入回归方程并 检验，然后在回归系数显著性检验不显著的一个或多个变量中，剔除t检验 值最小的变量。 Ø逐步筛选策略
合准则。
最小二乘法将偏差距离定义为离差平方和，即
n
Q( 0, 1, p) ( yi E( yi ))2
i 1
最小二乘估计就是寻找参数β0
、β1、…
βp的估计
值β̂0 、β ̂1、… β ̂p，使式（1）达到极小。通过
求极值原理（偏导为零）和解方程组，可求得估计值，
SPSS将自动完成。
每个解释变量进 入方程后引起的 判定系数的变化 量和F值的变化 量（偏F统计量）
输出个解释变量 和被解释变量的 均值、标准差、 相关系数矩阵及 单侧检验概率值
输出判定系数、 调整的判定系数、 回归方程的标准 误、回归方程显 著性检验的方差 分析表
输出方程中各解 释变量与被解释 变量之间的简单 相关、偏相关系 数和部分相关
30
n回归分析的其他操作
Ø选项
DW值
输出标准化残差 绝对值大于等于 3（默认）的样 本数据的相关信 息
多重共线性分 析： 输出各解释变 量的容忍度、 方差膨胀因子、
特征值、条件 指标、方差 比例等
31
n回归分析的其他操作
Ø选项
•标准化预测值 •标准化残差 •剔除残差 •调整的预测值 •学生化残差 •剔除学生化残差

线性回归分析的基本步骤一、什么是线性回归分析呢？线性回归分析啊，就像是我们在找一群散点之间的一种规律。

打个比方，就好像一群小蚂蚁在地上乱爬，我们要给它们找出一条路线来。

它主要就是用来研究两个变量之间的线性关系的。

比如说，我们想知道身高和体重之间有没有一种大概的关系，这时候线性回归分析就可能派上用场啦。

二、线性回归分析的基本步骤1. 数据收集这可是很关键的一步呢。

我们得先去找到我们要研究的那两个变量的数据。

比如说，如果我们要研究学习时间和考试成绩之间的关系，那我们就得去收集好多学生的学习时间和他们对应的考试成绩。

这些数据就像是我们做菜的食材，没有好的食材，后面的菜可就做不好啦。

而且这些数据得尽量准确，要是数据错了，那就像在沙子上盖房子，基础就不稳。

2. 数据可视化有了数据之后呢，我们就把这些数据画成图。

就像我们把一堆珠子按照一定的规律串起来，让我们能直观地看到这些数据大概是个什么样子。

通常我们会用散点图，把两个变量分别放在横纵坐标上，这样我们就能看到这些点大概是怎么分布的了。

如果这些点看起来像是在一条直线附近，那可能就比较适合做线性回归分析啦。

这一步就像是我们在出门之前先看看地图，大概了解一下方向。

3. 建立模型这一步呢，我们要假设两个变量之间存在一种线性关系，然后用一个方程来表示这种关系。

一般就是y = a+bx这样的形式，这里的y就是我们要预测的变量，x就是我们用来预测的变量，a和b呢，就是我们要找的参数。

这就好比我们要给一群小虫子建一个小房子，这个方程就是房子的框架。

我们要通过后面的步骤来确定这个框架的具体样子。

4. 估计参数现在我们要确定a和b的值啦。

这就需要用到一些数学方法，比如最小二乘法。

简单说呢，就是要让我们画出来的直线到那些散点的距离的平方和最小。

这就像是我们在调整小房子的柱子和横梁，让它能更好地适应这些散点的分布。

这一步算起来可能有点复杂，但是只要我们按照方法来，就能够得到比较合适的a和b的值。