回归分析线性回归Logistic回归对数线性模型共66页文档

七种回归分析方法个个经典什么是回归分析？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。

这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。

例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。

回归分析是建模和分析数据的重要工具。

在这里，我们使用曲线/线来拟合这些数据点，在这种方式下，从曲线或线到数据点的距离差异最小。

我会在接下来的部分详细解释这一点。

我们为什么使用回归分析？如上所述，回归分析估计了两个或多个变量之间的关系。

下面，让我们举一个简单的例子来理解它：比如说，在当前的经济条件下，你要估计一家公司的销售额增长情况。

现在，你有公司最新的数据，这些数据显示出销售额增长大约是经济增长的2.5倍。

那么使用回归分析，我们就可以根据当前和过去的信息来预测未来公司的销售情况。

使用回归分析的好处良多。

具体如下：1.它表明自变量和因变量之间的显著关系；2.它表明多个自变量对一个因变量的影响强度。

回归分析也允许我们去比较那些衡量不同尺度的变量之间的相互影响，如价格变动与促销活动数量之间联系。

这些有利于帮助市场研究人员，数据分析人员以及数据科学家排除并估计出一组最佳的变量，用来构建预测模型。

我们有多少种回归技术？有各种各样的回归技术用于预测。

这些技术主要有三个度量（自变量的个数，因变量的类型以及回归线的形状）。

我们将在下面的部分详细讨论它们。

对于那些有创意的人，如果你觉得有必要使用上面这些参数的一个组合，你甚至可以创造出一个没有被使用过的回归模型。

但在你开始之前，先了解如下最常用的回归方法：1.Linear Regression线性回归它是最为人熟知的建模技术之一。

线性回归通常是人们在学习预测模型时首选的技术之一。

在这种技术中，因变量是连续的，自变量可以是连续的也可以是离散的，回归线的性质是线性的。

线性回归使用最佳的拟合直线（也就是回归线）在因变量（Y）和一个或多个自变量（X）之间建立一种关系。

logistic回归和线性回归1.输出：线性回归输出是连续的、具体的值（如具体房价123万元）回归逻辑回归的输出是0~1之间的概率，但可以把它理解成回答“是”或者“否”（即离散的⼆分类）的问题分类2.假设函数线性回归：θ数量与x的维度相同。

x是向量，表⽰⼀条训练数据逻辑回归：增加了sigmoid函数逻辑斯蒂回归是针对线性可分问题的⼀种易于实现⽽且性能优异的分类模型，是使⽤最为⼴泛的分类模型之⼀。

sigmoid函数来由假设某件事发⽣的概率为p，那么这件事不发⽣的概率为(1-p)，我们称p/(1-p)为这件事情发⽣的⼏率。

取这件事情发⽣⼏率的对数，定义为logit(p)，所以logit(p)为因为logit函数的输⼊取值范围为[0,1](因为p为某件事情发⽣的概率)，所以通过logit函数可以将输⼊区间为[0,1]转换到整个实数范围内的输出,log函数图像如下将对数⼏率记为输⼊特征值的线性表达式如下：其中,p(y=1|x)为，当输⼊为x时，它被分为1类的概率为hθ(x)，也属于1类别的条件概率。

⽽实际上我们需要的是给定⼀个样本的特征输⼊x，⽽输出是⼀个该样本属于某类别的概率。

所以，我们取logit函数的反函数，也被称为logistic函数也就是sigmoid函数ϕ(z)中的z为样本特征与权重的线性组合（即前⾯的ΘT x）。

通过函数图像可以发现sigmoid函数的⼏个特点，当z趋于正⽆穷⼤的时候，ϕ(z)趋近于1，因为当z趋于⽆穷⼤的时候，e^(-z)趋于零，所以分母会趋于1，当z趋于负⽆穷⼤的时候，e^(-z)会趋于正⽆穷⼤，所以ϕ(z)会趋于0。

如在预测天⽓的时候，我们需要预测出明天属于晴天和⾬天的概率，已知根天⽓相关的特征和权重，定义y=1为晴天，y=-1为⾬天，根据天⽓的相关特征和权重可以获得z，然后再通过sigmoid函数可以获取到明天属于晴天的概率ϕ(z)=P(y=1|x)，如果属于晴天的概率为80%，属于⾬天的概率为20%，那么当ϕ(z)>=0.8时，就属于⾬天，⼩于0.8时就属于晴天。

（2）线性回归分析：由于因变量是分类变量，不能满足 其正态性要求；有些自变量对因变量的影响并非线性。
2
logistic回归:不仅适用于病因学分析，也可用于其他方面的研究，研 究某个二分类（或无序及有序多分类）目标变量与有关因素的关 系。
logistic回归的分类： （1）二分类资料logistic回归： 因变量为两分类变量的资料，可用
非条件logistic回归和条件logistic回归进行分析。非条件logistic回 归多用于非配比病例-对照研究或队列研究资料，条件logistic回归 多用于配对或配比资料。 （2）多分类资料logistic回归： 因变量为多项分类的资料，可用多 项分类logistic回归模型或有序分类logistic回归模型进行分析。
比较
调查方向：收集回顾性资料
人数 暴露
疾病
a/(a+b) c/(c+d)
a
+
b
-
病例
c
病例对照原理示意图
6
是否暴露 暴露组 未暴露组 合计
病例 a c a+c
对照 b d b+d
合计 a+b(n1) c+d(n2) n
比数比（odds ratio、OR）：病例对照研究中表示疾病与暴露间
联系强度的指标，也称比值比。
相对危险度RR的本质是暴露组与非暴露组发病率之比或发病概率 之比。但病例对照研究不能计算发病率，只能计算比值比OR值。 OR与RR的含义是相同的，也是指暴露组的疾病危险性为非暴露组 的多少倍。当疾病发病率小于5%时，OR是RR的极好近似值。
OR>1,说明 该因素使疾病的危险性增加，为危险因素；
OR<1,说明 该因素使疾病的危险性减小，为保护因素；

19
Correlation s lif e_ expectanc y _ f emale(y ear) .503** .000 164 1.000 . 192 .676**
cleanwateraccess_rura... life_expectancy_femal... Die before 5 per 1000
Model 1 2
R .930
a
R Square .866 .879
Model 1
df 1 54 55 2 53 55
Regres sion Residual Total Regres sion Residual Total
Mean Square 54229.658 155.861 27534.985 142.946
2
回归分析 • 一旦建立了回归模型 • 可以对各种变量的关系有了进一步的定量理解 • 还可以利用该模型（函数）通过自变量对因变量做 预测。 • 这里所说的预测，是用已知的自变量的值通过模型 对未知的因变量值进行估计；它并不一定涉及时间 先后的概念。
3
例1 有50个从初中升到高中的学生.为了比较初三的成绩是否和高中的成绩 相关,得到了他们在初三和高一的各科平均成绩(数据:highschool.sav)
50名同学初三和高一成绩的散点图
100
90
80
70
60
高 一成 绩
50
40 40
从这张图可以看出什么呢?
50 60 70 80 90 100 110
4
初三成绩
还有定性变量 • 该数据中，除了初三和高一的成绩之外，还有 一个定性变量 • 它是学生在高一时的家庭收入状况；它有三个 水平：低、中、高，分别在数据中用1、2、3 表示。

模型
逻辑回归的模型为 (P(Y=1) = frac{1}{1+e^{-z}})，其中 (z = beta_0 + beta_1X_1 + beta_2X_2 + ... + beta_nX_n)。
逻辑斯蒂函数
பைடு நூலகம்
定义
逻辑斯蒂函数是逻辑回归模型中用来描述自变量与因变量之 间关系的函数，其形式为 (f(x) = frac{1}{1+e^{-x}})。
。
在样本量较小的情况下， logistic回归的预测精度可能高 于线性回归。
线性回归的系数解释较为直观 ，而logistic回归的系数解释相 对较为复杂。
对数线性模型与其他模型的比较
对数线性模型假设因变量和自变量之间存在对 数关系，而其他模型的假设条件各不相同。
对数线性模型的解释性较强，可以用于探索自变量之 间的交互作用和效应大小。
THANKS
感谢您的观看
预测市场细分中的消费者行为等。
对数线性模型还可以用于探索性数据分析，以发现数 据中的模式和关联。
Part
04
比较与选择
线性回归与logistic回归的比较
线性回归适用于因变量和自变 量之间存在线性关系的场景， 而logistic回归适用于因变量为
二分类或多分类的场景。
线性回归的假设条件较为严格 ，要求因变量和自变量之间存 在严格的线性关系，而logistic 回归的假设条件相对较为宽松
最小二乘法
最小二乘法是一种数学优化技术，用于最小化预测值与实际观测值之间的平方误差总和。
通过最小二乘法，可以估计回归系数，使得预测值与实际观测值之间的差距最小化。
最小二乘法的数学公式为：最小化 Σ(Yi - (β0 + β1X1i + β2X2i + ...))^2，其中Yi是实际观 测值，X1i, X2i, ...是自变量的观测值。

方程=表0达.52：61，
ln( p ) 0.9099 0.8856x1 0.5261x2 1 p
控制饮酒因素后， 吸烟与不吸烟相比 患食管癌的优势比 为2.4倍
第18页，共86页。
OR的可信区间(qū 估计 jiān)
吸烟与不吸烟患食管癌OR的95%可信区间：
exp(b1 u /2Sb1 ) exp(0.8856 1.960.15) (1.81,3.25)
模型为条件Logistic回归。
成组（未配对）设计的病例对照研究资料，计算的
Logistic回归模型为非条件Logistic回归。 例：见265页
区别：
条件Logistic回归的参数估计无常数项（β0），主要 用于危险因素的分析。
第28页，共86页。
一、logistic回归的应用
1.疾病（某结果）的危险因素分析和筛选 用回归模型中的回归系数（βi）和OR说明
第3页，共86页。
Logistic回归(huíguī)方法
该法研究是 当 y 取某值（如y=1）发生的概率（p）与
某暴露因素（x）的关系。
No P（概率I）m的a取g值e波动0～1范围。
基本原理：用一组观察数据拟合Logistic模型， 揭示若干个x与一个因变量取值的关系，反映y 对x的依存关系。
1
Z值 23
图16-1 Logistic回归函数的几何图形
第7页，共86页。
几个(jǐ ɡè)logistic回归模型方程
第8页，共86页。
logistic回归模型(móxíng)方程的线性表达
对logistic回归模型的概率（p）做logit变 换，
方程如下：
线形关 系
Y～（-∞至+∞）

第二十九页，共76页。
第三十页，共76页。
第三十一页，共76页。
第三十二页，共76页。
第三十三页，共76页。
第三十四页，共76页。
第三十五页，共76页。
第三十六页，共76页。
3、逐步Logistic回归分析
（1）向前法(forward selection)
开始方程中没有变量，自变量由 少到多一个一个引入回归方程。按自 变量对因变量的贡献（P值的大小）由 小到大依次挑选，变量入选的条件是 其P值小于规定进入方程的P界值Enter, 缺省值 P(0.05)。
除变量量纲的影响，为此计算标准化回归系数
bi' bi *Si / Sy,其中 Si为Xi的标准差 Sy为y的标准差。
第十五页，共76页。
5.假设检验
• （1）回归方程的假设检验
• H0：所有 i0,i0,1,2,,p H1：某个 i 0
• 计算统计量为：G=-2lnL，服从自由度等于n-p
• 的 2 分布
• 对子号
病例
对照
•
x1 x2 x3 x1 x2 x3
•1
13 0
101
•2
03 1
130
•3
01 2
020
•…
… … … ………
• 10
22 2
000
• 注：X1蛋白质摄入量，取值：0，1，2，3
•
X2不良饮食习惯，取值：0，1，2，3
•
X3精神状况 ，取值：0，1，2
•
第十页，共76页。
Logistic回归
Logit(P)=-9.7544+2.5152X1+3.9849X2+0.1884X31.3037X4.

【最新整理，下载后即可编辑】Logistic 回归模型1 Logistic 回归模型的基本知识 1.1 Logistic 模型简介主要应用在研究某些现象发生的概率p ，比如股票涨还是跌，公司成功或失败的概率，以及讨论概率p 与那些因素有关。

显然作为概率值，一定有10≤≤p ，因此很难用线性模型描述概率p 与自变量的关系，另外如果p 接近两个极端值，此时一般方法难以较好地反映p 的微小变化。

为此在构建p 与自变量关系的模型时，变换一下思路，不直接研究p ，而是研究p 的一个严格单调函数)(p G ，并要求)(p G 在p 接近两端值时对其微小变化很敏感。

于是Logit 变换被提出来：pp p Logit -=1ln)( （1）其中当p 从10→时，)(p Logit 从+∞→∞-，这个变化范围在模型数据处理上带来很大的方便，解决了上述面临的难题。

另外从函数的变形可得如下等价的公式：XT XT T ee p Xppp Logit βββ+=⇒=-=11ln )( （2）模型(2)的基本要求是，因变量（y ）是个二元变量，仅取0或1两个值，而因变量取1的概率)|1(X y P =就是模型要研究的对象。

而T k x x x X ),,,,1(21 =，其中i x 表示影响y 的第i 个因素，它可以是定性变量也可以是定量变量，T k ),,,(10ββββ =。

为此模型(2)可以表述成：kx k x k x k x kk eep x x pp βββββββββ+++++++=⇒+++=- 11011011011ln （3）显然p y E =)(，故上述模型表明)(1)(lny E y E -是k x x x ,,,21 的线性函数。

此时我们称满足上面条件的回归方程为Logistic 线性回归。

Logistic 线性回归的主要问题是不能用普通的回归方式来分析模型，一方面离散变量的误差形式服从伯努利分布而非正态分布，即没有正态性假设前提；二是二值变量方差不是常数，有异方差性。

03
易于理解和实现： 由于基于逻辑函数，模型输出结 果易于解释，且实现简单。
Logistic回归的优势与不足
• 稳定性好： 在数据量较小或特征维度较高 时，Logistic回归的预测结果相对稳定。
Logistic回归的优势与不足
01
不足：
02
对数据预处理要求高： 需要对输入数据进行标准化或归一化处理，以 避免特征间的尺度差异对模型的影响。
模型假设
01
线性关系
因变量与自变量之间存在线性关系 。
无自相关
因变量与自变量之间不存在自相关 。
03
02
无多重共线性
自变量之间不存在多重共线性，即 自变量之间相互独立。
随机误差项
误差项是独立的，且服从二项分布 。
04
模型参数求解
最大似然估计法
通过最大化似然函数来求解模型参数。
梯度下降法
通过最小化损失函数来求解模型参数。
特征选择与降维
在处理大数据集时，特征选择和降维是提高模 型性能和可解释性的重要手段。
通过使用诸如逐步回归、LASSO回归等方法， 可以自动选择对模型贡献最大的特征，从而减 少特征数量并提高模型的泛化能力。
降维技术如主成分分析（PCA）可以将高维特 征转换为低维特征，简化数据结构并揭示数据 中的潜在模式。
迭代法
通过迭代的方式逐步逼近最优解。
牛顿法
利用牛顿迭代公式求解模型参数。
模型评估指标
准确率
正确预测的样本数占总样本数的比例 。
精度
预测为正例的样本中实际为正例的比 例。
召回率
实际为正例的样本中被预测为正例的 比例。
F1分数
精度和召回率的调和平均数，用于综 合评估模型性能。

表13-7 例13-2的logistic回归模型自变量筛选结果
模型
因素 X
第1步 常数项
回归系数 标准误
b
Sb
-2.528 0.238
Wald χ2 P值 112.433 <0.001
OR值
OR值95%可信区间 下限 上限
0.080
治疗11周
2.149 0.289 55.267 <0.001 8.578 4.867 15.117
因素 X 常数项
回归系数 标准误
Waldχ2 P值 OR值
b
Sb
-0.910 0.136 44.870 0.000 0.403
OR值95%可信区间
下限
上限
吸烟
0.886 0.150 34.862 0.000 2.424 1.807
3.253
饮酒
0.526 0.157 11.207 0.001 1.692 1.244
logistic回归分析
Logistic regression analysis
• 医学研究中应变量有时是二分类结果，如发病与不 发病、死亡与生存、有效与无效、复发与未复发等， 当需要研究二分类应变量的影响因素时，适合采用 logistic回归分析。
logistic回归属于概率型非线性回归，它是研究二 分类（可以扩展到多分类）反应变量与多个影响 因素之间关系的一种多变量分析方法。logistic回 归模型参数具有明确的实际意义。
OR值的可信区间：
exp(bj - zα/2 Sbj ) ORj exp(bj zα/2 Sb j )
• 例13-1 研究吸烟（X1）、饮酒（X2）与食道癌 （Y）关系的病例－对照资料，试作logistic回归 分析。

Logistic 回归模型一、 分组数据的Logistic 回归模型针对0-1型因变量产生的问题，我们对回归模型应该作两个方面的改进。

第一， 回归函数应该用限制在[0，1]区间内的连续曲线，而不能再沿用沿用直线回归方程。

限制在[0，1]区间内的连续曲线很多，例如所有连续变量的分布函数都符合要求，我们常用的是Logistic 函数与正如分布函数，Logistic 函数的形式为：()1xxe f x e =+Logistic 函数的中文名称逻辑斯蒂函数，简称逻辑函数 第二、因变量y 本身只取0、1两个离散值，不适合直接作为回归模型中的因变量,由于回归函数01()i i i E y x πββ==+表示在自变量为i x 的条件下i y 的平均值,而i y 是0-1型随机变量,因而()i i E y π=就是在自变量为i x 的条件下i y 等于1的比例.这就提示我们可以用i y 等于1的比例代替i y 本身作为因变量.二,例子 在一次住房展销会上,与房地产商签订初步购房意向书的共有325n =名顾客,在随后的3个月的时间内,只有一部分顾客确实购买了房屋.购买了房屋的顾客记为1,没有购买房屋的顾客记为0,以顾客的年家庭收入为自变量x,对下面表所示的数据,序号年家庭收入（万元）x 签订意向书人数n 实际购房人数m 实际购房比例p逻辑变换p′=ln(p/(1-p))权重w=np(1-p)1 1.52580.32-0.7537718 5.442 2.532130.40625-0.37948967.718753 3.558260.448276-0.207639414.344834 4.552220.423077-0.310154912.692315 5.543200.465116-0.139761910.697676 6.539220.5641030.257829119.58974477.528160.5714290.287682076.85714388.521120.5714290.287682075.14285799.515100.6666670.693147183.333333建立Logistic 回归模型:c i x x p i i i,,2,1,)exp(1)exp(1010 =+++=ββββ,其中，c 为分组数据的组数，本例中c=9.将以上回归方程作线性变换，令)1ln(iii p p p -=' 该变换称为逻辑变换，变换后的线性回归模型为 i i i x p εββ++='10该式是一个普通的一元线性回归模型。

5
还有定性变量
下面是对三种收入对高一成绩和高一与初三成绩差的盒 形图
高一成绩与初三成绩之差 高一成绩
110
100
90
80
70
60
50
39 25
40
30
N=
11
27
12
1
2
3
家庭收入
30
20
10
0
-10
-20
-30
N=
11
27
12
1
2
3
家庭收入
6
s1
例1：相关系数
100.00
90.00
80.00
70.00
回归分析
线性回归 Logistic回归 对数线性模型
吴喜之
回归分析
• 顾客对商品和服务的反映对于商家是至关重要的,但是仅仅 有满意顾客的比例是不够的,商家希望了解什么是影响顾客 观点的因素以及这些因素是如何起作用的。 • 一般来说，统计可以根据目前所拥有的信息（数据）建立 人们所关心的变量和其他有关变量的关系（称为模型）。 • 假如用Y表示感兴趣的变量，用X表示其他可能有关的变 量（可能是若干变量组成的向量）。则所需要的是建立一个 函数关系Y=f(X)。这里Y称为因变量或响应变量，而X称为 自变量或解释变量或协变量。 • 建立这种关系的过程就叫做回归。
50名同学初三和高一成绩的散点图
100
90
80
70
60
50
从这张图可以看出什么呢? 40
40
50
60
70
80
90
100
110
4ห้องสมุดไป่ตู้
初三成绩
高一成绩

能否用发病的概率P来直接代替 y呢？ p＝β0+β1X1+β2X2+…+βpXp
等式左边
变化范围
P 1－P p/1-p
发病概率 不发病概率 比数 (ratio)
0≤ P≤1 0≤ P≤1 0 ≤ p/1-p<+∞
ln(p/1-p) 对数比 (ratio) -∞< ln(p/1-p) <+∞
2、 Logistic 回归模型
例11-1 某研究者调查了15名正常病人和 15名肺癌患者，记录了同肺癌发病有关 的危险因素情况, 数据如下表。试分析各 因素与肺癌间的关系。
七、Logistic回归方程的应用 -----------预测与估计
求出logistic回归方程后，可求出每个观 测点发病概率。
上机实习题
<CHISS统计软件操作指南> P79 例11-1 P127 54
CHISS软件要求，对分类变量Y数量化，而 且赋值为：
1 发病 (阳性, 死亡 , 治愈等) y = 0未发病 (阴性, 生存, 未治愈等). 注意 ：P=P（y=1), 即发病设只有一个自变量X，Logistic方程为 ln P/(1-P)= β 0 + β X 设，X= 1 表示暴露， 0 表示非暴露。 X=1时，发病概率为 P1; X=0时，发病概率为 P0。 P1/(1-P1) 则优势比 OR= ────── P0/(1-P0)
ln(OR)=ln[P1/(1-P1)]-ln[P0/(1-P0)]
=(β0+β×1)-(β0+β×0) =β
logistic 回归系数的意义
lnOR= β
OR=e β
β表示自变量每增加一个单位，其优势 比的对数值的改变量， 亦即自变量每增加一个单位，其相对危 险度为e β。

3
数据分析的背景
• 单因素的分类资料统计分析，一般采用 Pearson 2进行统计检验，用Odds Ratio 及其95%可信区间评价关联程度。
• 考虑多因素的影响，对于反应变量为分 类变量时，用线性回归模型P=a+bx就不 合适了，应选用Logistic回归模型进行统 计分析。
4
Logistic回归模型
Logistic 回归模型及回归分析
1
Logistic 回归模型
2
数据分析的背景
• 计量资料单因素统计分析 – 对于两组计量资料的比较，一般采用t检 验或秩和检验。
– 对于两个变量的相关分析采用Pearson 相关分析或Spearman相关分析
• 考虑多因素的影响，对于应变量(反应变 量)为计量资料，一般可以考虑应用多重 线性回归模型进行多因素分析。
ln(Odds)
ln( P 1 P
)
0
1x1
mxm
10
Logistic回归模型
• 记： log it(P) ln( P ) 1 P
• 故可以写为
log it(P) 0 1x1 m xm
• 也可以写为
P exp(0 1x1 m xm ) 1 exp(0 1x1 m xm )
准正态分布，即：|z|>1.96，P<0.05,拒绝H0
19
实例1:用Logistic模型进行统计分析
• 实例1的回归系数估计为
ˆ1 0.4117232 ˆ0 -7.962891
• se(b)=0.1780719, z=b/se=2.31 ,P=0.021<0.05 拒绝H0，差异有统计学意义，可认为0。
e0
P 1 e0
1 P 1 e0