[医学]第十二章 线性回归分析ppt

校正决定系数、Cp准则、AIC准则
逐步选择法
后退法 前进法 逐步回归法
（一）全局择优法
根据一些准则建立 “最优”回归模型
校正决定系数（考虑了自变量的个数） Cp准则（C即criterion，p为所选模型中变量的个 数；Cp接近（p+1）模型为最优） AIC (Akaike’s Information Criterion)准则；
Model 1
(Const ant )
B -2262.081
St d. Error 1081 .870
X1
48.135
22.058
X2
38.550
13.346
X3
104.585
74.361
a. Dependent Variable: Y
St andardized Co effi ci ents
Bet a
.8 84a
.7 81
.7 40 216.0570 680
a. Predictors: (Constant), X3, X2, X1
R （复相关系数）
0.884
R Square （决定系数）
0.781
Adj R-Sq （校正决定系数）
0.740
Std.Error of the Estimate （剩余标准差）
3
Regressi on 2664 484.494
Resi dual
7468 90.5 06
Tot al
3411 375.000
4
Regressi on 2572 146.452
Resi dual
8392 28.5 48
Tot al
3411 375.000

通过各种统计检验来评估 模型的拟合效果，如残差 分析、R方检验、F检验等。
线性回归分析的应用
预测
使用线性回归模型来预测因变 量的值，基于给定的自变量值
。
解释变量关系
通过线性回归分析来了解自变 量与因变量之间的数量关系和 影响程度。
控制变量效应
在实验或调查中，控制自变量 的影响，以观察因变量的变化 情况。
模型的建立和检验
模型的建立
首先需要收集数据，并进行数据 清洗和预处理，然后选择合适的 自变量和因变量，建立逻辑回归
模型。
模型的检验
通过多种检验方法对模型进行评 估，包括参数估计、假设检验、 模型诊断等，以确保模型的准确
性和可靠性。
模型的优化
根据检验结果对模型进行调整和 优化，包括参数调整、变量筛选
详细描述
收集产品在过去一段时间的销售数据，包括销售额、销售量等，作为自变量， 将未来某一段时间的产品销量作为因变量，建立回归模型。通过模型预测未来 产品销量，为企业制定生产和销售计划提供依据。
实例三：疾病风险预测
总结词
基于个人健康数据和疾病历史，建立回归模型预测疾病风险。
详细描述
收集个人的健康数据和疾病历史，包括血压、血糖、胆固醇等生理指标以及家族 病史等信息，作为自变量，将未来患某种疾病的风险作为因变量，建立回归模型 。通过模型预测个人患某种疾病的风险，为预防和早期干预提供参考。
线性关系的假设
自变量x与因变量y之间存在线性关系， 即随着x的增加（或减少），y也相应 地增加（或减少）。
模型的建立和检验
01
02
03
数据收集与整理
收集相关数据，并进行必 要的整理和清洗，以确保 数据的质量和可靠性。

Part
03
线性回归模型建立与求解
一元线性回归模型建立步骤
绘制散点图
以自变量为横坐标，因变量为纵 坐标，绘制散点图，观察变量之 间的关系。
建立一元线性回归模型
如果散点图呈现出线性趋势，则 可以建立一元线性回归模型，即 y=β0+β1x+ε，其中β0和β1为待 估参数，ε为随机误差项。
参数估计
采用最小二乘法对模型参数进行 估计，得到β0和β1的估计值。
03
04
2. 构造检验统计量；
3. 根据显著性水平确定临界值；
05
06
4. 计算检验统计量的值并与临界值比较， 得出结论。
残差分析在模型诊断中应用
残差图
通过绘制残差与预测值或 解释变量的散点图，观察 是否存在非线性关系、异 方差性等问题。
残差自相关检验
通过检验残差是否存在自 相关性，判断模型是否违 反独立性假设。
数据转换
对连续型特征进行离散化（如分 箱处理），对类别型特征进行编 码（如独热编码）。
特征选择与提取技巧
单变量选择
基于模型的选择
计算每个特征与输出变量之间的统计量（ 如相关系数、卡方值等），选择统计量较 高的特征。
使用逐步回归、LASSO回归等方法，在模 型训练过程中自动选择重要特征。
特征变换
特征交互
利用线性回归模型建立房价与影响因素之间的关 系，并通过统计指标（如R方值、均方误差等） 评估模型的拟合优度。
参数估计
采用最小二乘法对模型参数进行估计，得到β0, β1, ..., βk的 估计值。
模型检验
对模型进行统计检验，包括拟合优度检验、回归系数显著 性检验、多重共线性检验等，以判断模型是否有效。

回归分析的应用场景
A
经济预测
通过分析历史数据，预测未来的经济趋势，如 股票价格、GDP等。
市场营销
通过研究消费者行为和购买历史，预测未 来的销售趋势和客户行为。
B
C
医学研究
研究疾病与风险因素之间的关系，预测疾病 的发生概率。
科学研究
在各种科学领域中，如生物学、物理学、化 学等，回归分析被广泛应用于探索变量之间 的关系和预测结果。
06 回归分析的局限性
多重共线性问题
总结词
多重共线性问题是指自变量之间存在高 度相关关系，导致回归系数不稳定，影 响模型预测精度。
VS
详细描述
在回归分析中，如果多个自变量之间存在 高度相关关系，会导致回归系数的不稳定 性，使得模型预测精度降低。这种情况在 数据量较小或者自变量较多的情况下更容 易出现。为了解决这个问题，可以采用减 少自变量数量、使用主成分分析等方法。
预测能力评估
使用模型进行预测，并比较预 测值与实际观测值之间的误差
，评估模型的预测能力。
03 多元线性回归分析
多元线性回归模型
01
确定因变量和自变 量
在多元线性回归模型中，因变量 是我们要预测的变量，而自变量 是影响因变量的因素。
02
建立数学模型
03
模型参数解释
通过最小二乘法等估计方法，建 立因变量与自变量之间的线性关 系式。
回归分析可以帮助我们理解数据的内在规律，预测未来的趋势，并优化决 策。
回归分析的分类
01
一元回归分析
研究一个自变量和一个因变量之间的关系。
02
多元回归分析
研究多个自变量和一个因变量之间的关系。
03
线性和非线性回归分析

误差越小。
第21页/共29页
SS总
(Y Y )2
Y 2 ( Y)2 n
SS回
blXY
l
2 XY
l XX
SS剩= SS总 - SS回
F SS回 /回 MS回 SS剩 / 剩 MS剩
υ总=υ回+υ剩 υ总= n-1, υ回= 1,
υ剩= n-2
第22页/共29页
二、直线回归
（五）直线回归方程的假设检验 2. t检验：作b与ß的比较判断回归方程是否成立。 ➢ 实际应用中，由于相关系数的检验简单并与之等价,故一般用相关系数r的检验来
1.作直线相关和回归分析要有实际意义；
2.在进行分析之前，应先绘制散点图，当其分布 有直线趋势时，才适宜作直线相关回归分析。 散点图还能提示资料有无异常点。
3.两变量间存在直线相关关系，并不一定是因果 关系，可能是伴随关系；
4.直线回归方程的适用范围一般以自变量的取值
范围为限，在此范围内求出的估计值称内插；
方和中可以用X解释的部分。SS回越大，说明回归效 果越好,即SS总中可用X与Y线性关系解释的变异越多。
➢S S 剩 为 剩 余 平 方 和 ， 它 反 映 X 对 Y 的 线 性 影 响 之 外 的 一切因素对Y的变异的作用，也就是在总平方和SS总 中无法用X解释的部分。在散点图中，各实测点离回
归直线越近， SS剩也就越小，说明直线回归的估计
第19页/共29页
任一点P的纵坐标被回归直线与均数 Y 截成三段
((YYˆ YYˆ))即表Y示估实计测值点PYˆ与与回
Y
P(X,Y)
归均直数线之的Y差纵向，距它离与，回即归实系
(Y Y)
(Y Yˆ)
际数的值大Y与小估有计关值。|Ybˆ|值之越差大，，

相关关系与函数关系的异同点： 非随机变量与随机变量的关系
相关关系
函数
自变量取值一定时，因变量的取值带有一定随机性的两个
相同点 各点大致分布在一条直线的附近
均是指两个变量的关系
例 一个工厂在某年里每月产品的总成线y（万元）与该月
非确定关系 表示n个点与相应直线在整体上的接近程度． 不同点
确定的关系
非随机变量与随机变量的关系 两个非随机变量的关系
n
记作 Q (yi bi x a )2 i 1
1.6 线性回归
新授课
直线方程 ：y ˆ b x a叫做回归直线方程．
其中
n
n
(xi x)(yi y)
xi yi nxy
b
i1
n
(xi x)2
i1
i1 n
.
xi2 nx2
i1
a y bx.
x
1 n
n线方程为 y ˆ 0 . 3 t 5 . 5 .42
1.6 线性回归
练习：
课后练习 课堂小结
准确理解相关关系的概念，并在此基础上，了解回归分析
与散点图的含义，了解回归直线方程推导的思路，会利用a、b
的公式求出回归直线方程，利用回归直线方程去估值．
对具有相关关系的两个变量进行统计分析的方法叫回归分 析．
1.6 线性回归
新授课 施化肥量x 15 20 25 30 35 40 45 水稻产量y 330 345 365 405 445 450 455
你发现图象中的点有什么特点？ 各点大致分布在一条直线的附近
表示具有相关关系的两个变量的一组数据的图形，叫做散 点图.
（1）画出散点图； （2）求月总成本y与月总产量x之间的回归直线方程．

线性回归模型的参数估计
最小二乘法
通过最小化误差平方和的方法来估计 模型参数。
最大似然估计
通过最大化似然函数的方法来估计模 型参数。
参数估计的步骤
包括数据收集、模型设定、参数初值、 迭代计算等步骤。
参数估计的注意事项
包括异常值处理、多重共线性、自变 量间的交互作用等。
线性回归模型的假设检验
假设检验的基本原理
回归分析法的历史与发展
总结词
回归分析法自19世纪末诞生以来，经历 了多个发展阶段，不断完善和改进。
VS
详细描述
19世纪末，英国统计学家Francis Galton 在研究遗传学时提出了回归分析法的概念 。后来，统计学家R.A. Fisher对其进行了 改进和发展，提出了线性回归分析和方差 分析的方法。随着计算机技术的发展，回 归分析法的应用越来越广泛，并出现了多 种新的回归模型和技术，如多元回归、岭 回归、套索回归等。
回归分析法的应用场景
总结词
回归分析法广泛应用于各个领域，如经济学、金融学、生物学、医学等。
详细描述
在经济学中，回归分析法用于研究影响经济发展的各种因素，如GDP、消费、投资等；在金融学中，回归分析法 用于股票价格、收益率等金融变量的预测；在生物学和医学中，回归分析法用于研究疾病发生、药物疗效等因素 与结果之间的关系。
梯度下降法
基于目标函数对参数的偏导数， 通过不断更新参数值来最小化目 标函数，实现参数的迭代优化。
非线性回归模型的假设检验
1 2
模型检验
对非线性回归模型的适用性和有效性进行检验， 包括残差分析、正态性检验、异方差性检验等。
参数检验
通过t检验、z检验等方法对非线性回归模型的参 数进行假设检验，以验证参数的显著性和可信度。

1
.864**
Sig. (2-tailed)
.000
N
20
20
体 重(kg) Pearson Cor relation
.864**
1
Sig. (2-tailed)
.000
N
20
20
**. Corr elation is signif icant at the 0.01 level (2-tailed).
判断回归方程效果的指标: 1、剩余标准差 2、残差 3、决定系数
P444
回归分析的一般步骤： 1. 绘制散点图，初步判断是否呈直线
趋势
2.计算a、b。(如果基本呈直线趋势)
3.对b作假设检验
方法： (1) F检验 (2) t检验 (3) 用r检验来代替。
4.作结论
如P≤0.05, 说明方程成立，列出回归方程； 如P >0.05, 说明方程不成立，不列回归 方程。
P值
在多重回归中还给出一个自变量的相关矩阵residuals设置残差选项durbinwatson输出系列相关残差的durbinwatson检验和残差与预测值casewisediagnostics个案残差诊断返回主对话框16返回主对话框17弹出对话框标准化预测值标准化预测值标准化残差标准化残差学生化残差学生化残差选sresid作为y轴dependnt为x轴并选取normalprobabilityplot返回主对话框18返回主对话框19弹出对话框对回归分析的结果保存如残差预测值mean条件均数的置信区间individual个体值的容许区间unstandardized应变量原始预测值standardized标准化后的预测值预测值的均数为0标准差为1adjusted不考虑当前记录当前模型对该记录应变量的预测值semeanpredictions预测值的标准差返回主对话框20返回主对话框21弹出对话框excludecaseslistwise凡是有缺失值的记录不分析excludecasespairwise多元回归中不分析进入模型变量有缺失的记录replacemean用该变量的均数来替代缺失值返回主对话框22返回主对话框23结果输出窗口variablesenteredremovedentermodelvariablesenteredvariablesremovedmethodallrequestedvariablesentered

现代应用
随着大数据时代的到来，回归分析法在各个领域的应用越来越广泛，同 时也面临着新的挑战和机遇。
02
线性回归分析
线性回归模型
线性回归模型
描述因变量与自变量之间线性关 系的数学模型。
模型形式
(Y = beta_0 + beta_1X_1 + beta_2X_2 + cdots + beta_pX_p + epsilon)
解释
非线性回归模型可以用于解释因变量和解释变量之间的关系，通过模型参数和图 形化展示来解释关系。
04
多元回归分析
多元回归模型
01
02
03
多元线性回归模型
描述因变量与多个自变量 之间的关系，通过最小二 乘法估计参数。
非线性回归模型
描述因变量与自变量之间 的非线性关系，通过变换 或使用其他方法实现。
教育研究
在教育学研究中，回归分析法可用于研究教育成果和教育 质量，通过分析学生成绩和教学质量等因素，提高教育水 平。
其他领域的应用案例
市场调研
在市场营销中，回归分析法可用于分析消费者行为和市场趋 势，帮助企业制定更有效的营销策略。
农业研究
在农业研究中，回归分析法可用于研究作物生长和产量影响 因素，提高农业生产效率。
线性回归模型的预测与解释
预测
使用已建立的线性回归模型预测因变量的值。
解释
通过解释模型参数的大小和符号来理解自变量对因变量的影响程度和方向。
03
非线性回归分析
非线性回归模型
线性回归模型的局限性
非线性回归模型的定义
线性回归模型在解释变量与因变量之间的 关系时可能不够准确，无法描述它们之间 的非线性关系。

关于最小平方法
一元线性回归模型的估计方法：最小平方法；
最小平方法的统计性质：
回归方程的拟合误差总和等于0，即Σei ＝0； 误差平方和最小，即在所有拟合散点的直线中，根据最小
平方法原则得到的回归直线使n个散点（yi，xi）沿y轴方 向到直线的距离平方和最小； y’的平均值等于y的平均值； x与e相互独立，即x与e的协方差等于0，Cov(x,e)=[ Σ(xix)（ei）]/n =0; y’与e相互独立，即y’与e的协方差等于0； 直线通过n个散点的重心点，即x与y的均值确定的点
通过绝对值的比较，可回答在诸多解释变量中， 哪个变量更重要的问题 。
方程的解释能力及其测量
方程的确定能力：
所得回归方程在多大程度上解释了因变量的变 化，或者说方程对观察值的拟合程度如何；
确定系数(coefficient of determination) R2：
R2＝Σ(y’-y均值)2/Σ(y-y均值)2 ，其值越接近1，表 明方程中的变量对y的解释能力越强。 它是方程拟合优度的度量，R2越大说明回归方 程拟合优度越好，自变量与因变量线性关系越强， 即回归方程中的自变量对y的解释能力越强。 R2越小说明自变量与因变量的线性关系越弱， 它们之间的独立性越强，或者说对x的了解无助于 对y的预测。
净相关系数：净确定系数的开平方。
第三节 回归方程的统计检验
回归方程的显著性检验：
即检验样本y与x，……，x的线性关系是否显著，即判 断能否肯定总体回归系数中至少有一个不等于0。
方差分析的主要目的就是进行回归方程的检验 ；
回归系数的显著性检验：
当回归方程检验显著时，便可以认为回归方程中至少有 一个回归系数是显著的；

变量的筛选问题

回归方程中到底引入多少解释变量x
变量的筛选策略


向前筛选策略（Forward）；
向后筛选策略（Backward）；

逐步筛选策略（Stepwise）。
向前筛选策略（Forward）



解释变量x不断进入回归方程的过程； 首先，选择与y具有最高线性相关系数的 变量进入方程，进行回归方程的各种检 验； 然后，在剩余变量中寻找与当前解释变 量偏相关系数最高且通过检验的变量进 入方程； 该过程一直重复，直到用尽所有的自变 量。
最小二乘估计
(图示)
y
(xn , yn)

(x2 , y2)
ˆ ˆ ˆ y b0 + b1 x


(x1 , y1)
｝
(xi , yi)
ei = yi-yi ＾
x
ˆ 和 ˆ 的计算公式) b 0 b1 (
ˆ和 ˆ 根据最小二乘法的要求，可得求解b 0 b1的公 式如下
根据变量的取值来预测或控制另一个特 定变量的取值，并给出这种预测或控制 的精确程度；


回归分析的一般步骤
步骤1 步骤 2 步骤 3 步骤 4
确定回归 确定 对 方程中的 利用 回归模型 回归方程 解释变量 回归方程 建立 进行各种 和 进行预测 回归方程 检验 被解释变量
重点内容
1
确定解释变量和被解释变量
一个单位时，y 的平均变动值；
估计的回归方程
(estimated regression equation)

总体回归参数 b 0 b1 和 是未知的，必须利用样本数 据去估计；
ˆ ˆ 用样本统计量 b 0 和 b1代替回归方程中的未知参 数b 0和 b1 ，就得到了估计的回归方程； 一元线性回归中估计的回归方程为：