线性回归分析法讲解
- 格式：docx
- 大小：353.73 KB
- 文档页数：14
下载文档原格式
合集下载
简单线性回归分析
简单线性回归分析
简单线性回归分析是一种统计分析方法，用于研究两个变量之间的线性关系。
其中，一个变量被称为因变量或响应变量，另一个变量被称为自变量或解释变量。
简单线性回归通过拟合一条直线来描述两个变量之间的关系，并可以用这条直线来进行预测和推断。
分析简单线性回归模型首先需要进行模型的拟合。
通过拟合可以得到最优的回归系数。
一般使用最小二乘法来拟合模型，最小二乘法的目标是最小化观测值与模型预测值之间的差异的平方和。
拟合模型后，可以进行模型的评估。
评估模型的好坏可以使用各种统计指标，例如残差和决定系数。
残差是观测值与模型预测值之间的差异，用于评估模型对实际数据的拟合效果。
决定系数是评估模型解释观测变异能力的指标，其取值范围为[0,1]，值越接近1，说明模型解释变异能力越好。
在模型评估的基础上，可以进行模型的推断。
模型推断包括对回归系数的置信区间估计和假设检验。
通过置信区间估计可以给出回归系数的估计范围，以及回归系数是否显著不等于0。
假设检验可以用于检验回归系数是否显著不等于0，即自变量是否对因变量有显著影响。
简单线性回归分析可以在实际情况中有很多应用。
例如，在市场营销中，可以使用简单线性回归模型来研究广告投入与销售额之间的关系，从而确定广告投入对销售额的影响。
在经济学中，可以使用简单线性回归模型来研究收入与消费之间的关系，从而了解收入对消费的影响。
总结起来，简单线性回归分析是一种重要的统计分析方法，用于研究两个变量之间的线性关系。
通过拟合模型、评估模型和进行推断，可以得到有关两个变量之间关系的重要信息，为实际问题的解决提供有力支持。
线性回归精确分析讲课文档
– 利用满足一定条件的样本数据进行回归分析
(6)指定作图时各数据点的标志变量(case labels)
11
第十一页，共76页。
一元线性回归分析操作
(二) statistics选项 (1)基本统计量输出
– Estimates:默认.显示回归系数相关统计量.
– confidence intervals:每个非标准化的回归系数95%的置信
起的因变量y的平均变动
(二)多元线性回归分析的主要问题
– 回归方程的检验
– 自变量筛选 – 多重共线性问题
18
第Hale Waihona Puke 八页，共76页。多元线性回归方程的检验
(一)拟和优度检验:
(1)判定系数R2:
– R是y和xi的复相关系数(或观察值与预测值的相关系数),测定了因变量 y与所有自变量全体之间线性相关程度
第二十三页，共76页。
23
多元线性回归分析中的自变量筛选
(二)自变量向前筛选法(forward): • 即:自变量不断进入回归方程的过程. • 首先,选择与因变量具有最高相关系数的自变量进入方程,
并进行各种检验;
• 其次,在剩余的自变量中寻找偏相关系数最高的变量进入回归方 程,并进行检验;
– 默认:回归系数检验的概率值小于PIN(0.05)才可以进入方程.
6
第六页，共76页。
一元线性回归方程的检验
(一)拟和优度检验:
(3)统计量：判定系数
– R2=SSR/SST=1-SSE/SST. – R2体现了回归方程所能解释的因变量变差的比例;1-R2则体现
了因变量总变差中，回归方程所无法解释的比例。
– R2越接近于1，则说明回归平方和占了因变量总变差平方和的绝大
(6)指定作图时各数据点的标志变量(case labels)
11
第十一页，共76页。
一元线性回归分析操作
(二) statistics选项 (1)基本统计量输出
– Estimates:默认.显示回归系数相关统计量.
– confidence intervals:每个非标准化的回归系数95%的置信
起的因变量y的平均变动
(二)多元线性回归分析的主要问题
– 回归方程的检验
– 自变量筛选 – 多重共线性问题
18
第Hale Waihona Puke 八页，共76页。多元线性回归方程的检验
(一)拟和优度检验:
(1)判定系数R2:
– R是y和xi的复相关系数(或观察值与预测值的相关系数),测定了因变量 y与所有自变量全体之间线性相关程度
第二十三页，共76页。
23
多元线性回归分析中的自变量筛选
(二)自变量向前筛选法(forward): • 即:自变量不断进入回归方程的过程. • 首先,选择与因变量具有最高相关系数的自变量进入方程,
并进行各种检验;
• 其次,在剩余的自变量中寻找偏相关系数最高的变量进入回归方 程,并进行检验;
– 默认:回归系数检验的概率值小于PIN(0.05)才可以进入方程.
6
第六页，共76页。
一元线性回归方程的检验
(一)拟和优度检验:
(3)统计量：判定系数
– R2=SSR/SST=1-SSE/SST. – R2体现了回归方程所能解释的因变量变差的比例;1-R2则体现
了因变量总变差中，回归方程所无法解释的比例。
– R2越接近于1，则说明回归平方和占了因变量总变差平方和的绝大
线性回归分析的基本原理
线性回归分析的基本原理线性回归分析是一种常用的统计分析方法，用于研究两个变量之间的线性关系。
它通过拟合一条直线来描述两个变量之间的关系，并利用这条直线进行预测和推断。
本文将介绍线性回归分析的基本原理，包括模型假设、参数估计、模型评估等内容。
一、模型假设线性回归分析的基本假设是：自变量和因变量之间存在线性关系，并且误差项服从正态分布。
具体来说，线性回归模型可以表示为：Y = β0 + β1X + ε其中，Y表示因变量，X表示自变量，β0和β1表示模型的参数，ε表示误差项。
线性回归模型假设误差项ε服从均值为0、方差为σ^2的正态分布。
二、参数估计线性回归模型的参数估计通常使用最小二乘法。
最小二乘法的基本思想是通过最小化观测值与模型预测值之间的差异来估计模型的参数。
具体来说，最小二乘法的目标是最小化残差平方和：min Σ(Yi - (β0 + β1Xi))^2通过对残差平方和进行求导，可以得到参数的估计值：β1 = Σ(Xi - X̄)(Yi - Ȳ) / Σ(Xi - X̄)^2β0 = Ȳ - β1X̄其中，Xi和Yi分别表示观测值的自变量和因变量，X̄和Ȳ分别表示自变量和因变量的均值。
三、模型评估线性回归模型的拟合程度可以通过多个指标进行评估，包括决定系数（R^2）、标准误差（SE）和F统计量等。
决定系数是用来衡量模型解释变量变异性的比例，其取值范围为0到1。
决定系数越接近1，说明模型对观测值的解释能力越强。
标准误差是用来衡量模型预测值与观测值之间的平均误差。
标准误差越小，说明模型的预测精度越高。
F统计量是用来检验模型的显著性。
F统计量的计算公式为：F = (SSR / k) / (SSE / (n - k - 1))其中，SSR表示回归平方和，SSE表示残差平方和，k表示模型的自由度，n表示观测值的个数。
F统计量的值越大，说明模型的显著性越高。
四、模型应用线性回归分析可以用于预测和推断。
通过拟合一条直线，可以根据自变量的取值来预测因变量的值。
如何理解线性回归分析
如何理解线性回归分析线性回归分析是统计学中常用的一种方法，用来确定因变量与自变量之间的函数关系。
在实际生活中，我们往往需要探究不同变量之间的关系，比如汽车的油耗与车速、学习时间与成绩、销售量与广告投入等，这些都可以通过线性回归分析来进行探究。
线性回归分析的原理很简单，就是通过数据拟合一条线来描述因变量和自变量之间的关系，通常表现为y=a+bx的形式，其中y 代表因变量，x代表自变量，a和b就是我们要求出的参数，a代表截距，b代表斜率。
对于给定的一组数据，我们可以使用最小二乘法来求出a和b 的值。
最小二乘法的思想就是找到一条直线，使得这条直线与所有数据点的距离之和最小，这个距离通常是指纵向的距离，也就是我们常说的误差。
在应用线性回归分析之前，我们需要确认两个变量之间是否存在线性关系。
如果变量之间存在非线性关系，那么线性回归分析的结果可能会有误。
此外，我们还需要检查数据是否满足线性回归模型的基本假设，这些假设包括自变量与因变量的关系是线性的、误差项是独立的、误差的方差是常数、误差是正态分布的等等。
如果数据满足线性回归模型的基本假设，我们就可以进行线性回归分析了。
这个过程通常分为三个步骤：建立模型、估计参数、评价模型。
建立模型的过程就是确定自变量和因变量之间的线性关系，估计参数的过程就是求解参数a和b的值，而评价模型的过程就是判断模型的拟合程度，我们通常会使用R方值来评价模型的拟合程度，R方值越接近1，说明模型越拟合数据。
需要注意的是，线性回归分析并不是银弹，它也有很多限制。
比如说，当数据之间存在多重共线性、异方差性等问题时，线性回归模型可能会出现问题，这时我们需要使用其他统计方法来分析数据。
而且，在使用线性回归分析时，我们还需要小心数据的解释问题，尤其是当我们进行因果推断时，需要注意变量之间的间接因果关系、混淆因素等问题。
总之，线性回归分析是一种常用的统计方法，可以用来探究不同变量之间的关系，但是在使用时需要注意数据的性质，以及模型的基本假设。
线性回归分析
一元线性回归分析1.理论回归分析是通过试验和观测来寻找变量之间关系的一种统计分析方法。
主要目的在于了解自变量与因变量之间的数量关系。
采用普通最小二乘法进行回归系数的探索，对于一元线性回归模型,设（X1，Y1），（X2，Y2），…，（X n，Y n）是取至总体（X,Y）的一组样本。
对于平面中的这n个点，可以使用无数条曲线来拟合。
要求样本回归函数尽可能好地拟合这组值。
综合起来看，这条直线处于样本数据的中心位置最合理。
由此得回归方程：y=β0+β1x+ε其中Y为因变量，X为解释变量（即自变量），ε为随机扰动项，β0，β1为标准化的偏斜率系数，也叫做回归系数。
ε需要满足以下4个条件：1.数据满足近似正态性：服从正态分布的随机变量。
2.无偏态性：∑（εi）=03.同方差齐性：所有的εi 的方差相同，同时也说明εi与自变量、因变量之间都是相互独立的。
4.独立性：εi 之间相互独立，且满足COV（εi，εj）=0（i≠j）。
最小二乘法的原则是以“残差平方和最小”确定直线位置。
用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。
最常用的是普通最小二乘法（OLS）：所选择的回归模型应该使所有观察值的残差平方和达到最小。
线性回归分析根据已有样本的观测值，寻求β0，β1的合理估计值^β0，^β1，对样本中的每个x i，由一元线性回归方程可以确定一个关于y i的估计值^y i=^β0+^β1x i，称为Y关于x的线性回归方程或者经验回归公式。
^β0=y-x^β1，^β1=L xy/L xx，其中L xx=J12−x2，L xy=J1−xy，x=1J1 ，y=1J1 。
再通过回归方程的检验：首先计算SST=SSR+SSE=J1^y−y 2+J1−^y2。
其中SST为总体平方和，代表原始数据所反映的总偏差大小；SSR为回归平方和（可解释误差），由自变量引起的偏差，放映X的重要程度；SSE为剩余平方和（不可解释误差），由试验误差以及其他未加控制因子引起的偏差，放映了试验误差及其他随机因素对试验结果的影响。
第章线性回归分析详解演示文稿
数学模型为： y=β0+β1x+ε
上式表明：y的变化可由两部分解释：第一，由解释
变量x的变化引起的y的线性变化部分，即y=β0+β1x； 第二，由其他随机因素引起的y的变化部分，即ε。 β0 、β1 都是模型中的未知参数，β0为回归常数，β1为 y对x回归系数（即x每变动一个单位所引起的y的平
一元二乘估计：
多元二乘估计（略）
第十一页，共52页。
9.3回归方程的统计检验
拟合优度检验 回归方程的显著性检验
回归系数的显著性检验 残差分析
第十二页，共52页。
9.3.1回归方程的拟合优度检验
用于检验样本数据点聚集在回归线周围的密集程度， 从而评价回归线对样本数据的代表程度。 思想：因变量y（儿子身高）取值的变化受两个因素
第二十九页，共52页。
第二、计算残差的自相关系数 自相关系数用于测定序列自相关强弱，其取值范围 -1~+1，接近1表明序列存在正自相关
第三十页，共52页。
第三、DW（durbin-watson）检验
DW检验用于推断小样本序列是否存在自相关的方法。其原 假设为：总体自相关系数ρ与零无显著差异。采用统计量 为：
的影响：自变量x（父亲身高）不同取值的影响，其 他因素（环境、饮食等）的影响。
可表示如下:
因变量总变差 = 自变量引起的 + 其他因素引起的 即因变量总变差= 回归方程可解释的+不可解释的 即，因变量总离差平方和SST =回归平方和 SSA + 剩余平
方和SSE
第十三页，共52页。
图示：
y y i
素对 y 的影响造成的。
第十五页，共52页。
一、一元线性回归方程
拟合优度的检验采用R2统计量，称为判定系数
上式表明：y的变化可由两部分解释：第一，由解释
变量x的变化引起的y的线性变化部分，即y=β0+β1x； 第二，由其他随机因素引起的y的变化部分，即ε。 β0 、β1 都是模型中的未知参数，β0为回归常数，β1为 y对x回归系数（即x每变动一个单位所引起的y的平
一元二乘估计：
多元二乘估计（略）
第十一页，共52页。
9.3回归方程的统计检验
拟合优度检验 回归方程的显著性检验
回归系数的显著性检验 残差分析
第十二页，共52页。
9.3.1回归方程的拟合优度检验
用于检验样本数据点聚集在回归线周围的密集程度， 从而评价回归线对样本数据的代表程度。 思想：因变量y（儿子身高）取值的变化受两个因素
第二十九页，共52页。
第二、计算残差的自相关系数 自相关系数用于测定序列自相关强弱，其取值范围 -1~+1，接近1表明序列存在正自相关
第三十页，共52页。
第三、DW（durbin-watson）检验
DW检验用于推断小样本序列是否存在自相关的方法。其原 假设为：总体自相关系数ρ与零无显著差异。采用统计量 为：
的影响：自变量x（父亲身高）不同取值的影响，其 他因素（环境、饮食等）的影响。
可表示如下:
因变量总变差 = 自变量引起的 + 其他因素引起的 即因变量总变差= 回归方程可解释的+不可解释的 即，因变量总离差平方和SST =回归平方和 SSA + 剩余平
方和SSE
第十三页，共52页。
图示：
y y i
素对 y 的影响造成的。
第十五页，共52页。
一、一元线性回归方程
拟合优度的检验采用R2统计量，称为判定系数
线性回归分析
1.4 联立方程组模型
1.4 联立方程模型
1.4.1 联立方程模型 1.4.2 联立方程模型的估计方法
1.4 联立方程组模型
1.4.1 联立方程模型 变量 1. 内生变量(Endogenous Variables) 内生变量是由模型系统决定的，也可能对模型系统产生影响的变量. 被解释变量都是内生变量，当然内生变量也可作解释变量. 一般情况下，内生变量与随机误差项相关. 2. 外生变量(Exogenous Variables) 外生变量是影响模型系统，但本身不受模型系统的影响的变量. 外生变量与随机误差项不相关.
1.3 多元回归分析
1.3.3 多元非线性回归分析 利用柯布道格拉斯生产函数，我们可以建立如下的非线性回归模型：
(1.21)
有的非线性模型可以通过线性化转化为线性回归模型，然后用普通最小二乘法估计参数。例如模型(1.21)两边取自然对数有：
(1.22)
1.3 多元回归分析
1.3.4 回归模型的应用 4. 结构分析 结构分析用来研究经济现象中变量之间的相互关系. 例如进行弹性分析. 设消费Yt和收入Xt满足如下模型： lnYt=a0+a1lnXt (1.25) 模型(1.5)两端对Xt求导可得 a1=(dYt/dXt)·(Yt/Xt) 即a1为消费的收入弹性。因此通过估计模型 lnYt=a0+a1lnXt+mt 可以研究消费的收入弹性。
1.4 联立方程模型
实例 模型估计与检验 EViews操作如下： （1）建立工作文件和输入变量 （2）创立系统方程 点击Objects/New Object/System.
1.4 联立方程模型
实例 在打开的对话框中，选择“System”并在“Name for Object”下给系统对象命名，然后点击OK，这时将打开系统如下的对象窗口，然后可以将方程直接键入窗口.
1.4 联立方程模型
1.4.1 联立方程模型 1.4.2 联立方程模型的估计方法
1.4 联立方程组模型
1.4.1 联立方程模型 变量 1. 内生变量(Endogenous Variables) 内生变量是由模型系统决定的，也可能对模型系统产生影响的变量. 被解释变量都是内生变量，当然内生变量也可作解释变量. 一般情况下，内生变量与随机误差项相关. 2. 外生变量(Exogenous Variables) 外生变量是影响模型系统，但本身不受模型系统的影响的变量. 外生变量与随机误差项不相关.
1.3 多元回归分析
1.3.3 多元非线性回归分析 利用柯布道格拉斯生产函数，我们可以建立如下的非线性回归模型：
(1.21)
有的非线性模型可以通过线性化转化为线性回归模型，然后用普通最小二乘法估计参数。例如模型(1.21)两边取自然对数有：
(1.22)
1.3 多元回归分析
1.3.4 回归模型的应用 4. 结构分析 结构分析用来研究经济现象中变量之间的相互关系. 例如进行弹性分析. 设消费Yt和收入Xt满足如下模型： lnYt=a0+a1lnXt (1.25) 模型(1.5)两端对Xt求导可得 a1=(dYt/dXt)·(Yt/Xt) 即a1为消费的收入弹性。因此通过估计模型 lnYt=a0+a1lnXt+mt 可以研究消费的收入弹性。
1.4 联立方程模型
实例 模型估计与检验 EViews操作如下： （1）建立工作文件和输入变量 （2）创立系统方程 点击Objects/New Object/System.
1.4 联立方程模型
实例 在打开的对话框中，选择“System”并在“Name for Object”下给系统对象命名，然后点击OK，这时将打开系统如下的对象窗口，然后可以将方程直接键入窗口.
线性回归分析教程PPT课件
实例二：销售预测
总结词
线性回归分析在销售预测中，可以通过分析历史销售数据，建立销售量与影响因子之间的线性关系， 预测未来一段时间内的销售量。
详细描述
在销售预测中，线性回归分析可以用于分析历史销售数据，通过建立销售量与影响因子（如市场需求 、季节性、促销活动等）之间的线性关系，预测未来一段时间内的销售量。这种分析方法可以帮助企 业制定生产和销售计划。
自相关检验
自相关是指残差之间存在 相关性。应通过图形或统 计检验方法检验残差的自 相关性。
05
线性回归模型的预测与 优化
利用线性回归模型进行预测
确定自变量和因变量
01
在预测模型中，自变量是预测因变量的变量，因变量是需要预
测的目标变量。
建立模型
02
通过收集数据并选择合适的线性回归模型，利用数学公式表示
一元线性回归模型
一元线性回归模型是用来研究一个因变量和一个 自变量之间的线性关系的模型。
它通常用于预测一个因变量的值，基于一个自变 量的值。
一元线性回归模型的公式为：y = b0 + b1 * x
多元线性回归模型
01 多元线性回归模型是用来研究多个自变量和一个 因变量之间的线性关系的模型。
02 它通常用于预测一个因变量的值，基于多个自变 量的值。
线性回归模型与其他模型的比较
01
与逻辑回归的比较
逻辑回归主要用于分类问题，而 线性回归主要用于连续变量的预 测。
02
与决策树的比较
决策树易于理解和解释，但线性 回归在预测精度和稳定性方面可 能更优。
03
与支持向量机的比 较
支持向量机适用于小样本数据， 而线性 Nhomakorabea归在大样本数据上表现 更佳。
总结线性回归分析的基本步骤
总结线性回归分析的基本步骤线性回归分析是一种统计方法，用于研究两个或更多变量之间的关系。
它的基本思想是通过构建一个线性函数来描述因变量与自变量之间的关系，并使用最小二乘法估计未知参数。
下面是线性回归分析的基本步骤：1.收集数据：首先，我们需要收集有关自变量和因变量的数据。
这些数据可以通过实验、观察或调查获得。
数据应该涵盖自变量和因变量的所有可能值，并且应该尽可能全面和准确。
2.绘制散点图：一旦我们收集到数据，我们可以使用散点图来可视化自变量和因变量之间的关系。
散点图展示了每个观测值的自变量与相应因变量的值之间的关系图形。
通过观察散点图，我们可以初步判断变量之间的关系类型，如直线、曲线或没有明显关系。
3.选择模型：在进行线性回归分析之前，我们需要选择适当的模型。
线性回归模型的形式为Y=β0+β1X1+β2X2+...+βnXn+ε，其中Y是因变量，X1,X2,...Xn是自变量，β0,β1,β2,...βn是未知参数，ε是误差项。
我们假设因变量与自变量之间的关系是线性的。
4.估计参数：在线性回归模型中，我们的目标是估计未知参数β0,β1,β2,...βn。
我们使用最小二乘法来估计这些参数，最小二乘法的目标是通过最小化残差平方和来选择最佳拟合直线，使预测值与观测值之间的差异最小化。
5.评估模型：一旦我们估计出参数，我们需要评估模型的拟合程度。
常见的评估指标包括残差分析、方差分析、回归系数的显著性检验、确定系数和调整确定系数。
这些指标可以帮助我们判断模型的有效性和可靠性。
6.解释结果：在得到合理的回归模型之后，我们可以使用回归方程来进行预测和解释结果。
通过回归系数可以了解自变量对因变量的影响程度和方向。
同时，我们可以进行假设检验，确定哪些自变量对因变量是显著的。
7.模型修正和改进：一旦我们获得了回归模型，我们可以进一步修正和改进模型。
这可以通过添加更多的自变量或删除不显著的自变量来完成。
同时，我们还可以使用交互项、多项式项或转换变量来探索更复杂的关系。
回归分析方法总结全面
回归分析方法总结全面回归分析是一种统计分析方法，用于研究自变量与因变量之间的关系。
它可以帮助我们了解自变量对因变量的影响程度，以及预测因变量的值。
回归分析有多种方法和技术，本文将对几种常用的回归分析方法进行总结和介绍。
1. 简单线性回归分析简单线性回归分析是回归分析的最基本形式，用于研究单个自变量与因变量之间的关系。
它假设自变量与因变量之间存在线性关系，并且通过拟合一条直线来描述这种关系。
简单线性回归分析使用最小二乘法来估计直线的参数，最小化观测值与模型预测值之间的差异。
2. 多元线性回归分析多元线性回归分析是回归分析的一种拓展形式，用于研究多个自变量与因变量之间的关系。
它假设各个自变量与因变量之间存在线性关系，并通过拟合一个多元线性模型来描述这种关系。
多元线性回归分析使用最小二乘法来估计模型的参数。
3. 逻辑回归分析逻辑回归分析是回归分析的一种特殊形式，用于研究二分类变量与一系列自变量之间的关系。
它通过拟合一个Logistic函数来描述二分类变量与自变量之间的概率关系。
逻辑回归分析可以用于预测二分类变量的概率或进行分类。
4. 多项式回归分析多项式回归分析是回归分析的一种变体，用于研究自变量与因变量之间的非线性关系。
它通过引入自变量的高次项来拟合一个多项式模型，以描述非线性关系。
多项式回归分析可以帮助我们探索自变量与因变量之间的复杂关系。
5. 非线性回归分析非线性回归分析是回归分析的一种广义形式，用于研究自变量与因变量之间的非线性关系。
它通过拟合一个非线性模型来描述这种关系。
非线性回归分析可以用于分析复杂的现象或数据，但需要更复杂的参数估计方法。
6. 岭回归分析岭回归分析是回归分析的一种正则化方法，用于处理自变量之间存在共线性的情况。
共线性会导致参数估计不稳定或不准确，岭回归通过加入一个正则化项来缩小参数估计的方差。
岭回归分析可以帮助我们在共线性存在的情况下得到更可靠的结果。
7. 主成分回归分析主成分回归分析是回归分析的一种降维方法，用于处理高维数据或自变量之间存在相关性的情况。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一元线性回归分析和多元线性回归分析一元线性回归分析1.简单介绍当只有一个自变量时，称为一元回归分析（研究因变量y 和自变量x 之间的相关关系）；当自变量有两个或多个时，则称为多元回归分析（研究因变量y 和自变量1x ，2x ，…，n x 之间的相关关系）。
如果回归分析所得到的回归方程关于未知参数是线性的，则称为线性回归分析；否则，称为非线性回归分析。
在实际预测中，某些非线性关系也可以通过一定形式的变换转化为线性关系，所以，线性回归分析法成为最基本的、应用最广的方法。
这里讨论线性回归分析法。
2.回归分析法的基本步骤回归分析法的基本步骤如下： （1） 搜集数据。
根据研究课题的要求，系统搜集研究对象有关特征量的大量历史数据。
由于回归分析是建立在大量的数据基础之上的定量分析方法，历史数据的数量及其准确性都直接影响到回归分析的结果。
（2） 设定回归方程。
以大量的历史数据为基础，分析其间的关系，根据自变量与因变量之间所表现出来的规律，选择适当的数学模型，设定回归方程。
设定回归方程是回归分析法的关键，选择最优模型进行回归方程的设定是运用回归分析法进行预测的基础。
（3） 确定回归系数。
将已知数据代入设定的回归方程，并用最小二乘法原则计算出回归系数，确定回归方程。
这一步的工作量较大。
（4） 进行相关性检验。
相关性检验是指对已确定的回归方程能够代表自变量与因变量之间相关关系的可靠性进行检验。
一般有R 检验、t 检验和F 检验三种方法。
（5） 进行预测，并确定置信区间。
通过相关性检验后，我们就可以利用已确定的回归方程进行预测。
因为回归方程本质上是对实际数据的一种近似描述，所以在进行单点预测的同时，我们也需要给出该单点预测值的置信区间，使预测结果更加完善。
3. 一元线性回归分析的数学模型用一元线性回归方程来描述i x 和i y 之间的关系，即i i i x a a y ∆++=10 （i =1，2，…，n ）（2-1）式中，i x 和i y 分别是自变量x 和因变量y 的第i 观测值，0a 和1a 是回归系数，n 是观测点的个数，i ∆为对应于y 的第i 观测值i y 的随机误差。
假设随机误差i ∆满足如下条件：①服从正态分布；②i ∆的均值为零，即()0=∆i E ；③i ∆的方差等于2σ；④各个i ∆间相互独立，即对于任何两个随机误差i ∆和j ∆，其协方差等于零，即，()()j i j i ≠=∆∆0,cov 。
基于上述假定，随机变量的数学期望和方差分别是()()i i x E a a y E 10+=（2-2）()I 2σ=∆∑如果不考虑式中的误差项，我们就得到简化的式子i i x a a y 10+=（2-3）该式称为y 对x 的一元回归模型或一元回归方程，其相应的回归分析称为一元线性回归分析。
依据这一方程在直角坐标系中所作的直线就称为回归直线。
4. 回归参数的估计回归模型中的参数0a 与1a 在一般情况下都是未知数，必须根据样本观测数据()i i y x ,来估计。
确定参数0a 与1a 值的原则是要使样本的回归直线同观察值的拟合状态最好，即要使得偏差最小。
为此，可以采用最小二乘法的办法来解决。
对应于每一个i x ，根据回归直线方程式（2-3）可以求出一个∧i y ，它就是i y 的一个估计值。
估计值和观测值之间的偏差⎪⎭⎫⎝⎛-=∆∧i i i y y 。
要使模型的拟合状态最好，就是说要使n 个偏差平方和最小为标准来确定回归模型。
为了方便起见，记⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n y y y y 21，⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡∆∆∆=∆n 21，⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n x x x B 11121 ，⎥⎥⎦⎤⎢⎢⎣⎡=∧∧∧10a a a 则式（2-1）用矩阵形式表示为∆+=∧a B y（2-4）设V 为误差∆的负估值，称为y 的改正数或残差，∧a 为回归参数a 的估值，则可以写出类似于参数平差的误差方程y a B V -=∧（2-5）根据最小二乘原理min =V V T ，求自由极值，得02==∂∂∧B V aV V T T即 0=V B T （2-6）将误差方程（2-5）代入，即得法方程为y B a B B T T=∧（2-7） 记∑==n i i x n x 11，∑==ni i y n y 11，()∑∑==-=-=n i i n i i xx x n x x x S 12212，()∑∑==-=-=ni ini i yy y n y y y S 12212，()()y x n y x y y x x S i ni i ni i i xy -=--=∑∑==11则⎥⎦⎤⎢⎣⎡+=2x n S x n x n n B B xx T ，⎥⎥⎦⎤⎢⎢⎣⎡+=y x n S y n y B xy T于是可得回归参数的最小二乘估值为()y B BB a T T 1-∧=（2-8）即⎥⎥⎦⎤⎢⎢⎣⎡-=⎥⎥⎦⎤⎢⎢⎣⎡+⎥⎥⎦⎤⎢⎢⎣⎡--⎪⎭⎫ ⎝⎛+=∧xy xy xx xx xy xx xx S S x S y S y x n S y n x x n x n S S x 1112参数∧0a 与∧1a 的具体表达形式为xx xy S S x y a /0-=∧（2-9）xx xy S S a =∧1求出参数∧0a 与∧1a 以后，就可以得到一元线性回归模型x a a y ∧∧∧+=10（2-10）由此，只要给定了一个i x 值，就可以根据回归模型求得一个∧i y 作为实际值i y 的预测值。
5. 精度分析对于给定的i x ，根据回归模型就可以求出i y 的预测值。
但是用∧i y 来预测y 的精度如何，产生的误差有多大是我们所关心的。
这里采用测量上常用的精度指标来度量回归方程的可靠性。
一个回归模型的精度或剩余标准离差定义式为22112-=⎪⎭⎫⎝⎛--=∑=∧∧n V V y y n T n i i i σ （2-11）由于参数的个数是2，观测值总数是n ，多余观测是()2-n ，因此式中分母是()2-n 。
运用估计平均误差可以对回归方程的预测结果进行区间估计。
若观察值围绕回归直线服从正态分布，且方差相等，则有68.27%的点落在∧±σ的范围内，有95.45%的点落在∧±σ2的范围内，有99.73%的点落在∧±σ3的范围内。
根据参数平差理论可知，∧a 的协因数矩阵为()⎥⎥⎦⎤⎢⎢⎣⎡--⎪⎭⎫ ⎝⎛+==-∧∧1121x x n x n S S BB Q xx xx T aa （2-12）从而，∧a 的方差估值为⎪⎪⎭⎫⎝⎛+=∧∧∧xx a S x n 220210σσ （2-13）xxa S 1221∧∧=∧σσ6. 线性回归效果的显著性检验对一元线性回归模型的统计检验包括两个内容：一是线性回归方程的显著性检验；二是对回归系数进行统计推断。
在一元线性回归分析中，线性回归效果的好坏取决于y 与x 的线性关系是否密切。
若||1∧a 越大，y 随x 的变化趋势就越明显；若||1∧a 越小，y 随x 的变化趋势就越不明显。
特别的，当01=∧a 时，意味着y 与x 之间不存在线性相关关系，所建立的线性回归方程没有意义。
所以，只有当01≠∧a 时，y 与x 之间才有线性相关关系，所建立的线性回归方程才有实际意义。
因此，对线性回归效果好坏的检验，就归结为对统计假设0:;0:1110≠=a H a H 的检验。
若拒绝0H ，就认为线性回归有意义；若不能拒绝0H ，就认为线性回归无意义。
下面介绍两种检验方法：F 检验法和相关系数检验法。
1. F 检验法进行F 检验的关键在于确定一个合适的统计量及其所服从的分布。
当原假设成立时，根据F 分布的定义可知()()2,1~2/1212--⎪⎭⎫ ⎝⎛-⎪⎭⎫ ⎝⎛-=∑∑=∧=∧n F n y y y y F n i i i ni i（2-14）当给定显著性水平α =0.05或0.01，由F 分布分位数值表得临界值()2,11--n F α，由样本观测值计算出统计量F 的实测值。
若()2,11-≥-n F F α，则以显著水平α拒绝0H ；若()2,11-<-n F F α则以显著水平α接受0H 。
一般按下述标准判断。
（1） 若()2,199.0-≥n F F ，则认为线性回归方程效果极显著。
（2） 若()()2,12,199.095.0-<≤-n F F n F ，则认为线性回归方程效果显著。
（3） 若()2,195.0-<n F F ，则认为线性回归效果不显著。
2.相关系数检验法相关系数检验法是通过y 与x 之间的相关系数对回归方程的显著性进行检验的，由样本观测值，即()()()n n y x y x y x ,,,,,,2211 ，可以得到相关系数的实测值为()()()()∑∑∑===----==ni ini ini iiyyxx xy y y x x y y x x S S S r 12121（2-15）相关系数10≤≤r ，现作如下进一步分析。
（1） 当0=r 时，0=xy S ，因而01=a ，此时线性回归方程∧∧∧∧∧=+=010a x a a y ，表明y 与x 之间不存在线性相关关系。
（2） 当1||0<<r 时，y 与x 之间存在一定的线性相关关系，当0>r 时，01>∧a ，此时称y 与x 正相关；当0<r 时，01<∧a ，此时称y 与x 负相关；当||r 越接近于0时，此时y 与x 的线性关系越微弱；当||r 越接近于1时，此时y 与x 的线性关系越强。
（3） 当||r =1时，y 与x 完全线性相关，表明y 与x 之间存在确定的线性函数关系；当r=1时，称y 与x 正相关；当r=-1时，称y 与x 负相关。
当给定显著性水平α=0.05或0.01，由()()αα-=-≤-12||1n r r P（2-16）来判断线性回归方程的效果。
若本观测值算出的相关关系实测值()21-≥-n r r α，则以显著性水平的关系α拒绝0H ；若()21-<-n r r α，则以显著性水平的关系接受。
一般按下述标准判断。
（1） 若()299.0-≥n r r ，则认为线性回归方程效果极显著。
（2） 若()()2299.095.0-<≤-n r r n r ，则认为线性回归方程效果显著。
（3） 若()295.0-<n r r ，则认为线性回归效果不显著。
α0H临界值()21--n r α可由下式确定()()()()22,12,12111-+--=----n n F n F n r ααα （2-17）7. [实例解算]设某线性回归问题的自变量i x 和观测值i y 的数据如表2-1所示，试求其回归方程。