当前位置：文档之家 › 二分类Logistic回归模型

二分类Logistic回归模型

  • 格式：docx
  • 大小：146.81 KB
  • 文档页数：15

实用标准文档 文案大全 二分类Logistic 回归模型 在对资料进行统计分析时常遇到反应变量为分类变量的资料，那么，能否用类似于线 性回归的模型来对这种资料进行分析呢？答案是肯定的。 本章将向大家介绍对二分类因变量 进行回归建模的 Logistic 回归模型。

第一节模型简介

一、模型入门 在很多场合下都能碰到反应变量为二分类的资料，如考察公司中总裁级的领导层中是 否有女性职员、某一天是否下雨、某病患者结局是否痊愈、调查对象是否为某商品的潜在消 费者等。对于分类资料的分析， 相信大家并不陌生，当要考察的影响因素较少，且也为分类

变量时，分析者常用列联表 (contingency Table)的形式对这种资料进行整理，并使用 2检

验来进行分析，汉存在分类的混杂因素时，还可应用 Man tel-Hae nszel 2检验进行统计学 检验，这种方法可以很好地控制混杂因素的影响。 但是这种经典分析方法也存在局限性， 首 先，它虽然可以控制若干个因素的作用， 但无法描述其作用大小及方向， 更不能考察各因素 间是否存在交互任用；其次，该方法对样本含量的要求较大， 当控制的分层因素较多时，单 元格被划分的越来越细， 列联表的格子中频数可能很小甚至为 0，将导致检验结果的不可靠。

最后，2检验无法对连续性自变量的影响进行分析，而这将大大限制其应用范围，无疑是 其致使的缺陷。 那么，能否建立类似于线性回归的模型，对这种数据加以分析？以最简单的二分类因 变量为例来加以探讨，为了讨论方便，常定义出现阳性结果时反应变量取值为 1，反之则取

值为0。例如当领导层有女性职员、下雨、痊愈时反应变量 y 1，而没有女性职员、未下

雨、未痊愈时反应变量 y 0。记出现阳性结果的频率为反应变量 P(y 1)。 首先，回顾一下标准的线性回归模型： Y 1%, L mXm

如果对分类变量直接拟合，则实质上拟合的是发生概率，参照前面线性回归方程 ，很 自然地会想到是否可以建立下面形式的回归模型：

卍 1%1 L mXm

显然，该模型可以描述当各自变量变化时，因变量的发生概率会怎样变化，可以满足 分析的基本要求。实际上，统计学家们最早也在朝这一方向努力， 并考虑到最小二乘法拟合 时遇到的各种问题，对计算方法进行了改进， 最终提出了加权最小二乘法来对该模型进行拟 合，至今这种分析思路还偶有应用。 既然可以使用加权最小二乘法对模型加以估计，为什么现在又放弃了这种做法呢？原 因在于有以下两个问题是这种分析思路所无法解决的： (1) 取值区间：上述模型右侧的取值范围，或者说应用上述模型进行预报的范围为整 实用标准文档 文案大全 个实数集(，)，而模型的左边的取值范围为 0 P 1，二者并不相符。模型本身不能

保证在自变量的各种组合下，因变量的估计值仍限制在 0〜1内，因此可能分析者会得到这 种荒唐的结论：男性、30岁、病情较轻的患者被治愈的概率是 300%研究者当然可以将此 结果等价于100%可以治愈，但是从数理统计的角度讲，这种模型显然是极不严谨的。 (2) 曲线关联：根据大量的观察，反应变量 P与自变量的关系通常不是直线关系，而 是S型曲线关系。这里以收入水平和购车概率的关系来加以说明， 当收入非常低时， 收入的 增加对购买概率影响很小； 但是在收入达到某一阈值时， 购买概率会随着收入的增加而迅速 增加；在购买概率达到一定水平，绝大部分在该收入水平的人都会购车时， 收入增加的影响 又会逐渐减弱。如果用图形来表示， 则如图1所示。显然，线性关联是线性回归中至关重要 的一个前提假设，而在上述模型中这一假设是明显无法满足的。

以上问题促使统计学家们不得不寻求新的解决思路，如同在曲线回归中，往往采用变 量变换，使得曲线直线化，然后再进行直线回归方程的拟合。 那么，能否考虑对所预测的因 变量加以变换，以使得以上矛盾得以解决？基于这一思想， 又有一大批统计学家在寻找合适 的变换函数。终于，在 1970年，Cox引入了以前用于人口学领域的 Logit变换(Logit Tran sformatio n)，成功地解决了上述问题。

那么，什么是 Logit变换呢？通常的把出现某种结果的概率与不出现的概率之比称为

比值(odds ,国内也译为优势、比数)，即Odds ，取其对数 In (Odds) In — 1 1 这就是logit变换。下面来看一下该变换是如何解决上述两个问题的， 首先是因变量取值区 间的变化，概率是以0.5为对称点，分布在0〜1的范围内的，而相应的logit(P)的大小为:

0 logit( ) ln (0/1) m

0.5 logit( ) ln(0.5/ 0.5) 0

1 logit( ) ln(1/ 0) m 显然，通过变换，Logit()的取值范围就被扩展为以 0为对称点的整个实数域，这使 得在任何自变量取值下，对 值的预测均有实际意义。其次，大量实践证明， Logit()往 往和自变量呈线性关系， 换言之，概率和自变量间关系的 S形曲线往往就符合logit函数关 实用标准文档 文案大全 系，从而可以通过该变换将曲线直线化。因此，只需要以 Logit()为因变量，建立包含 p

个自变量的logistic 回归模型如下： 实用标准文档

文案大全 log it( P) o 1X1 L pXp

以上即为logistic 回归模型。由上式可推得:

上面三个方程式相互等价。通过大量的分析实践，发现 logistic 回归模型可以很好地 满足对分类数据的建模需求，因此目前它已经成为了分类因变量的标准建模方法。 通过上面的讨论，可以很容易地理解二分类 logistic 回归模型对资料的要求是： （1） 反应变量为二分类的分类变量或是某事件的发生率。 （2） 自变量与Logit（）之间为线性关系。 （3） 残差合计为0,且服从二项分布。 （4） 各观测值间相互独立。 由于因变量为二分类，所以 logistic 回归模型的误差应当服从二项分布，而不是正态 分布。因此，该模型实际上不应当使用以前的最小二乘法进行参数估计， 上次均使用最大似 然法来解决方程的估计和检验问题。

二、一些基本概念 由于使用了 logit变换，Logistic 模型中的参数含义略显复杂， 但有很好的实用价值， 为此现对一些基本概念加以解释。 1. 优势比 如前所述，人们常把出现某种结果的概率与不出现的概率之比称为比值（ odds），即 P odds ------- 。两个比值之比称为优势比（odds Ratio，简称OR。首先考察 OR的特性：

1 P

若 P1 P2，则 odds 卫 空 odds2 1 R 1 F2

若 P1 P2，则 odds! 旦 & odds2 1 R 1 F2

若 P1 P2，则 odds 吕 p2 odds2

1 R 1 F2

显然，OF是否大于1可以用作两种情形下发生概率大小的比较。 2. Logistic 回归系数的意义

从数学上讲， 和多元回归中系数的解释并无不同，代表 X改变一个单位时logit（ R） 的平均改变量，但由于odds的自然对数即为logit变换，因此Logistic 回归模型中的系数 和OR有着直接的变换关系， 使得Logistic回归系数有更加贴近实际的解释， 从而也使得该 模型得到了广泛的应用。下面用一个实例加以说明： 以4格表资料为例具体说明各回归系数的意义：

exp( 0 1X1 L pXp)

1 exp( 0 必 L pXp) 1

1 exp( 0 1X1 L pXp) 实用标准文档

文案大全 表1 4格表资料 治疗方法 （treat） 治疗结果（outcome）

合计 治愈率 治愈（=1） 未治愈（=0

新疗法（=1） 60 (a) 21 (c) 81

74.07%

传统疗法（=0） 42 (b) 27 (d) 69 60.87%

合计 102 48 130 68.00%

该资料如果拟合 Logistic 回归模型，则结果如下（操作步骤详见后述）

0 i treat 0.442 0.608 treat 即传统疗法组的治愈率与未治愈率之比的自然对数值。 在不

同的研究设计中， 常数项的具体 含义可能不同，如基线状态下个体患病率、基线个体发病率、基线状态中病例所占比例等， 但这些数值的大小研究者一般并不关心。

（2）各自变最的回归系数： i （i 1,L p）表示自变量x每改变一个单位，优势比的

自然对数值改变量，而 exp（ i）即OR直，表示自变量Xi每变化一个单位，阳性结果出现概 率与不出现概率的比值是变化前的相应比值的倍数， 即优势比（注意：不是出现阳性结果的 概率为变化前的倍数，即优势比并不等同于相对危险度） 。

本例中自变量治疗方法的回归系数 1 0.608，为两组病人的治愈率与未治愈率之比的

对数值之差，即 ln[(60/81)/(21/81)] ln[(42 /69)/(27 /69)] ln( ad /bc)。因此，对于 四格表资料而言，所建立的 Logistic 回归模型也可以写成： logit( P |outcome 1) ln(b/d) ln(ad / bc) treat ln(b/ d) ln(OR) treat

由以上关系可知，exp（ 0）表示传统疗法组的治愈率与未治愈之比值。 exp（ 1）则表示 治疗方法增加一个单位， 即将疗法从传统疗法改为新疗法时， 新疗法组病人治愈率与未治愈 率之比值相对于传统疗法组病人的治愈率与未治愈率比值的倍数。 而两组病人的治愈率之比

（60/81）/（42 /69） 1.217，并不完全相同。但是，当研究结果出现阳性的概率较小时 （一

般认为小于0.1 ,反之当概率大于 0.9时亦可），OR直大小和发生概率之比非常接近， 此时 可以近似地说一组研究对象的阳性结果发生率是另一组研究对象发生率的 OR直倍，即用OR 值的大小来挖地表示相对危险度的大小。 三、简单分析实例 SPSS中通过regression 模块中的 Bin ary Logistic 过程实现结果变量为二分类的 Logistic回归，下面通过一个实例分析，具体讲解相应的操作和结果解释。 例1某医师希望研究病人的年龄（岁）、性别（0为女性，1为男性）、心电图检验是否 异常（ST段压低，0为正常、1为轻度异常、2为重度异常）与患冠心病是否有关。 调用 SPSS中的 Bi nary Logistic 过程：

Logit (P | outcome 1) （1）常数项：表示自变量取全为 0 （称基线状态）时，比数 （Y=1与Y=0的概率之比

）

合集下载

Logistic回归

Logistic回归


不同体质指数高血压患病率
BMI(X) 调查人数
患病 （y=1） 1331
1656 2987
未患病 （y=0） 5461
2492 7953
患病率 （%） 19.60
39.92 27.30
正常(x=0)
超重(x=1) 合计
6792
4148 10940

Logistic回归模型为：
模型中回归系数的解释： X=1时（超重）： X=0时（正常）：
1.
2.当自变量为连续型变量时，不需编码
表示自变量X每增加一个单位得到的比值比的自然对数 例如：前列腺癌患者淋巴组织有无转移与年龄（Ｘ）回归模 型
实际工作中，常把连续型变量→等级资料来解释。
3. 当自变量为有序分类变量时，一般按等级对疾病 影响的顺序由大到小编码。（各等级对应变量的 影响是线性变化的）
无序多分类Logistic模型

例： 研究不同细胞分化程度（X1）和细胞染色 （X2）与恶性肿瘤组织类型（Y）的关系， 得到资料如表，分析细胞分化程度和细胞 染色与组织类型的关系。

得到两个回归方程：

以大细胞癌水平3为基准，分别用两个回归进行 水平1与水平3、水平2与水平3的比较。


X1的系数均为正值，说明分化程度高，鳞 癌和腺癌的危险高于大细胞癌的危险 X2的系数均为负值，说明细胞染色阳性， 鳞癌和腺癌的危险高于大细胞癌的危险
0
1 1 … 0

建立模型：
P（一对中只有一人得病）=P（A得病）P（B不得病）+ P（A不得病）P（B得病） 在病例和对照中只有1人得病的条件下恰好是A得病的条件概 率为 P（A得病|一对中只有一人得病）= P（A得病）P（B不得病） P（A得病）P（B不得病）+ P（A不得病）P（B得病）
logistic模型求解过程

logistic模型求解过程

logistic模型求解过程逻辑回归（Logistic Regression）是一种常用的统计分析模型，常用于二分类问题。

下面是逻辑回归模型的求解过程的一般步骤：1. 收集数据：首先需要收集与问题相关的数据。

这些数据通常包括自变量（特征）和因变量（目标变量）。

2. 数据预处理：对收集到的数据进行预处理是很重要的一步。

这可能包括数据清洗、缺失值处理、特征缩放、特征选择等。

3. 模型假设：逻辑回归模型基于线性回归的思想，但在输出上增加了一个 sigmoid 函数，将线性组合的结果转化为概率。

4. 损失函数：为了训练模型，需要定义一个损失函数来衡量预测结果与真实标签之间的差异。

常用的逻辑回归损失函数是交叉熵损失函数。

5. 优化算法：选择合适的优化算法来最小化损失函数。

常见的优化算法包括梯度下降法、随机梯度下降法（SGD）、Adagrad、Adadelta 等。

6. 参数估计：通过使用优化算法，可以对模型的参数进行估计。

这些参数包括权重和偏置。

7. 模型评估：在训练过程中，可以使用训练集和验证集来评估模型的性能。

常见的评估指标包括准确率、精确率、召回率、F1 分数等。

8. 超参数调优：根据模型在验证集上的性能，可以对超参数进行调整，如学习率、正则化参数等，以提高模型的泛化能力。

9. 模型预测：一旦模型训练完成，可以使用测试集来进行最终的预测。

10. 模型解释：如果需要，可以对模型进行解释，了解哪些特征对预测结果的影响较大。

需要注意的是，上述步骤只是逻辑回归模型求解的一般流程，具体的实现方式可能因编程语言、工具和数据集的不同而有所差异。

在实际应用中，可能还需要进行一些额外的处理步骤，如正则化、模型选择、过拟合和欠拟合的处理等。

二元logistics回归霍斯曼检验拟合度差原因

二元logistics回归霍斯曼检验拟合度差原因

二元logistics回归霍斯曼检验拟合度差原因二元logistics回归是一种常用的分类分析方法，通过建立逻辑回归模型，对二分类问题进行预测和判断。

在进行二元logistics回归时，我们经常会使用霍斯曼检验(Hosmer-Lemeshow test)来评估模型的拟合程度。

然而，当发现模型的拟合度差时，我们需要深入分析，找出造成拟合度差的原因。

本文将围绕这一问题展开讨论。

一、二元logistics回归模型回顾在开始讨论拟合度差的原因之前，我们先回顾一下二元logistics回归模型的基本原理。

二元logistics回归模型是一种广义线性回归模型。

它基于Logistic 函数，将自变量与因变量之间的关系映射为一个概率值。

该模型的数学表达式如下：P(Y=1|X) = 1 / (1 + e^-(β0 + β1X1 + β2X2 + ... + βnXn))其中，Y为因变量的取值，X为自变量的取值，β为模型的回归系数。

通过最大似然估计等方法，我们可以得到回归系数的估计值，从而建立模型。

二、霍斯曼检验的原理霍斯曼检验是一种用于评估二元logistics回归模型拟合度的统计检验方法。

该检验通过将样本按照预测概率值进行分组，然后计算预测值与实际值之间的残差来衡量模型的拟合程度。

具体而言，霍斯曼检验的步骤如下：1. 将样本按照预测概率值进行分组，通常将预测概率分为10个组。

2. 对每个组内的样本，计算实际值与预测值之间的残差，可以使用对数似然残差(log-likelihood residual)或分位数残差(quantile residual)。

3. 计算每个组内的残差平均值，得到每个组的平均残差。

4. 使用卡方检验或其它拟合优度检验方法，比较实际值与预测值之间的残差平均值是否存在显著差异。

如果在拟合度检验中发现存在显著差异，即拒绝原假设，说明模型的拟合不理想。

三、拟合度差的可能原因在进行霍斯曼检验时，如果发现模型的拟合度较差，我们需要深入分析，找出可能的原因。

logistic模型

logistic模型

Logistic模型简介Logistic回归模型是一种常用的分类模型，用于对二分类问题进行建模和预测。

该模型基于Logistic函数，将连续的输出映射到了概率值，可以方便地用于分类任务。

基本原理Logistic函数Logistic函数，也被称为Sigmoid函数，是一种常见的激活函数，公式如下：$$ f(x) = \\frac{1}{1 + e^{-x}} $$Logistic函数具有如下特点： - 输出范围在0到1之间，可以看作是一个概率值；- 在x趋近于正无穷时，输出趋近于1，在x趋近于负无穷时，输出趋近于0； - 当x=0时，输出值为0.5，此时分类为不确定。

Logistic回归模型Logistic回归模型通过将Logistic函数作用于线性回归模型的输出，将连续的输出转换为0和1的概率值。

模型的数学表达式如下：$$ P(y=1|x; w) = \\frac{1}{1 + e^{-(w_0 + w_1x)}} $$其中，P(P=1|P;P)表示在给定输入x的情况下，预测y=1的概率；P0和P1是模型的参数，通过训练数据进行估计。

对于二分类问题，可以将上式进一步扩展为：$$ P(y=c|x; w) = \\frac{e^{w_c \\cdot x}}{\\sum_{k=1}^{C} e^{w_k \\cdot x}} $$其中，C为类别数量，P P为类别c的参数，P为输入。

模型训练Logistic回归模型的训练目标是最大化似然函数。

似然函数描述了模型参数在给定训练样本的情况下的概率，即给定参数值时样本出现的可能性。

似然函数的数学表达式如下：$$ L(w) = \\prod_{i=1}^{N} P(y_i|x_i; w) $$其中，P P为第i个样本的真实标签，P P为其对应的特征，P为总样本数量。

为了计算方便，常常使用对数似然函数，即：$$ l(w) = \\log(L(w)) = \\sum_{i=1}^{N} \\log(P(y_i|x_i; w)) $$训练时使用梯度下降法最小化对数似然函数，通过迭代更新参数P，直至收敛为止。