黑龙江大学
硕士学位论文
Logistic回归模型分析综述及应用研究
姓名：尹建杰
申请学位级别：硕士
专业：应用数学
指导教师：马维军
20110428
[转载]logistic回归模型总结 logistic回归模型是最成熟也是应用最广泛的分类模型，通过学习和实践拟通过从入门、进阶到高级的过程对其进行总结，以便加深自己的理解也为对此有兴趣者提供学习的便利。 一、有关logistic的基本概念 logistic回归主要用来预测离散因变量与一组解释变量之间的关系 最常用的是二值型logistic。即因变量的取值只包含两个类别例如：好、坏；发生、不发生；常用Y=1或Y=0表示X 表示解释变量则 P（Y=1|X）表示在X的条件下Y=1的概率，logistic回归的数学表达式为： log（p/1-p）=A+BX ＝Ｌ其中p/1-p称为优势比（ＯＤＤＳ）即发生与不发生的概率之比 可以根据上式反求出P（Y=1|X）＝１/（１＋ｅ＾-L） 根据样本资料可以通过最大似然估计计算出模型的参数 然后根据求出的模型进行预测 下面介绍logistic回归在ＳＡＳ中的实现以及输出结果的解释 二、logistic回归模型初步
ＳＡＳ中ｌｏｇｉｓｔｉｃ回归输出结果主要包括预测模 型的评价以及模型的参数 预测模型的评价与多元线性回归模型的评价类似主要从以 下几个层次进行 （１）模型的整体拟合优度 主要评价预测值与观测值之间的总体一致性。可以通过以下两个指标来进行检验 １、Ｈosmer-Lemeshowz指标 HL统计量的原假设Ho是预测值和观测值之间无显著差异，因此HL指标的P-Value的值越大，越不能拒绝原假设，即说明模型很好的拟合了数据。 在ＳＡＳ中这个指标可以用LACKFIT选项进行调用 ２、AIC和SC指标即池雷准则和施瓦茨准则 与线性回归类似AIC和SC越小说明模型拟合的越好 （2）从整体上看解释变量对因变量有无解释作用 相当于多元回归中的F检验在logistic回归中可以通过似然比（likelihood ratio
Logistic回归分析简介 Logistic回归：实际上属于判别分析，因拥有很差的判别效率而不常用。1．应用范围： ①适用于流行病学资料的危险因素分析 ②实验室中药物的剂量-反应关系 ③临床试验评价 ④疾病的预后因素分析 2．Logistic回归的分类： ①按因变量的资料类型分： 二分类 多分类 其中二分较为常用 ②按研究方法分： 条件Logistic回归 非条件Logistic回归 两者针对的资料类型不一样，后者针对成组研究，前者针对配对或配伍 研究。 3．Logistic回归的应用条件是： ①独立性。各观测对象间是相互独立的； ②LogitP与自变量是线性关系； ③样本量。经验值是病例对照各50例以上或为自变量的5-10倍（以10倍 为宜），不过随着统计技术和软件的发展，样本量较小或不能进行似然
估计的情况下可采用精确logistic回归分析，此时要求分析变量不能太多，且变量分类不能太多； ④当队列资料进行logistic回归分析时，观察时间应该相同，否则需考虑观 察时间的影响（建议用Poisson回归）。 4．拟和logistic回归方程的步骤： ①对每一个变量进行量化，并进行单因素分析； ②数据的离散化，对于连续性变量在分析过程中常常需要进行离散变成等 级资料。可采用的方法有依据经验进行离散，或是按照四分、五分位数 法来确定等级，也可采用聚类方法将计量资料聚为二类或多类，变为离 散变量。 ③对性质相近的一些自变量进行部分多因素分析，并探讨各自变量（等级 变量，数值变量）纳入模型时的适宜尺度，及对自变量进行必要的变量 变换； ④在单变量分析和相关自变量分析的基础上，对P≤α（常取0.2，0.15或 0.3）的变量，以及专业上认为重要的变量进行多因素的逐步筛选；模型 程序每拟合一个模型将给出多个指标值，供用户判断模型优劣和筛选变 量。可以采用双向筛选技术：a进入变量的筛选用score统计量或G统计 量或LRS(似然比统计量)，用户确定P值临界值如：0.05、0.1或0.2，选 择统计量显著且最大的变量进入模型；b剔除变量的选择用Z统计量(Wald 统计量)，用户确定其P值显著性水平，当变量不显者，从模型中予以剔 除。这样，选入和剔除反复循环，直至无变量选入，也无变量删除为止，选入或剔除的显著界值的确定要依具体的问题和变量的多寡而定，一般
1.逻辑回归模型 1.1逻辑回归模型 考虑具有p个独立变量的向量,设条件概率为根据观测量相对于某事件发生的概率。逻辑回归模型可表示为 （1.1） 上式右侧形式的函数称为称为逻辑函数。下图给出其函数图象形式。 其中。如果含有名义变量，则将其变为dummy变量。一个具有k个取值的名义变量，将变为k-1个dummy变量。这样，有 （1.2） 定义不发生事件的条件概率为 （1.3） 那么，事件发生与事件不发生的概率之比为 （1.4） 这个比值称为事件的发生比(the odds of experiencing an event),简称为odds。因为0
得到的概率。在同样条件下得到的条件概率为。于是，得到一个观测值的概率为 （1.6） 因为各项观测独立，所以它们的联合分布可以表示为各边际分布的乘积。 （1.7） 上式称为n个观测的似然函数。我们的目标是能够求出使这一似然函数的值最大的参数估计。于是，最大似然估计的关键就是求出参数，使上式取得最大值。 对上述函数求对数 （1.8） 上式称为对数似然函数。为了估计能使取得最大的参数的值。 对此函数求导，得到p+1个似然方程。 （1.9） ，j=1,2,..,p. 上式称为似然方程。为了解上述非线性方程，应用牛顿－拉斐森(Newton-Raphson)方法进行迭代求解。 1.3牛顿－拉斐森迭代法 对求二阶偏导数，即Hessian矩阵为 （1.10） 如果写成矩阵形式，以Ｈ表示Hessian矩阵，Ｘ表示 （1.11） 令
Logistic 回归模型 1 Logistic 回归模型的基本知识 1.1 Logistic 模型简介 主要应用在研究某些现象发生的概率p ，比如股票涨还是跌，公司成功或失败的概率，以及讨论概率 p 与那些因素有关。显然作为概率值，一定有10≤≤p ，因此很难用线性模型描述概率p 与自变量的关 系，另外如果p 接近两个极端值，此时一般方法难以较好地反映p 的微小变化。为此在构建p 与自变量关系的模型时，变换一下思路，不直接研究p ，而是研究p 的一个严格单调函数)(p G ，并要求)(p G 在p 接近两端值时对其微小变化很敏感。于是Logit 变换被提出来： p p p Logit -=1ln )( （1） 其中当p 从10→时，)(p Logit 从+∞→∞-，这个变化范围在模型数据处理上带来很大的方便， 解决了上述面临的难题。另外从函数的变形可得如下等价的公式： X T X T T e e p X p p p Logit ββ β+= ?=-=11ln )( （2） 模型(2)的基本要求是，因变量（y ）是个二元变量，仅取0或1两个值，而因变量取1的概率) |1(X y P =就是模型要研究的对象。而T k x x x X ),,,,1(21 =，其中i x 表示影响y 的第i 个因素，它可以是定性变量也可以是定量变量，T k ),,,(10ββββ =。为此模型(2)可以表述成： k x k x k x k x k k e e p x x p p βββββββββ+++++++= ?+++=- 11011011011ln （3） 显然p y E =)(，故上述模型表明) (1) (ln y E y E -是k x x x ,,,21 的线性函数。此时我们称满足上面条件 的回归方程为Logistic 线性回归。 Logistic 线性回归的主要问题是不能用普通的回归方式来分析模型，一方面离散变量的误差形式服从伯努利分布而非正态分布，即没有正态性假设前提；二是二值变量方差不是常数，有异方差性。不同于多元线性回归的最小二乘估计法则(残差平方和最小)，Logistic 变换的非线性特征采用极大似然估计的方法寻求最佳的回归系数。因此评价模型的拟合度的标准变为似然值而非离差平方和。 定义1 称事件发生与不发生的概率比为 优势比(比数比 odds ratio 简称OR)，形式上表示为 OR= k x k x e p p βββ+++=- 1101 （4） 定义2 Logistic 回归模型是通过极大似然估计法得到的，故模型好坏的评价准则有似然值来表征，称
Logistic 回归分析报告结果解读分析 Logistic 回归常用于分析二分类因变量（如存活和死亡、患病和未患病等）与多个自变量的关系。比较常用的情形是分析危险因素与是否发生某疾病相关联。例如，若探讨胃癌的危险因素，可以选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群有不同的临床表现和生活方式等，因变量就为有或无胃癌，即“是” 或“否”，为二分类变量，自变量包括年龄、性别、饮食习惯、是否幽门螺杆菌感染等。自变量既可以是连续变量，也可以为分类变量。通过Logistic 回归分析，就可以大致了解胃癌的危险因素。 Logistic 回归与多元线性回归有很多相同之处，但最大的区别就在于他们的因变量不同。多元线性回归的因变量为连续变量；Logistic 回归的因变量为二分类变量或多分类变量，但二分类变量更常用，也更加容易解释。 1. Logistic 回归的用法 一般而言，Logistic 回归有两大用途，首先是寻找危险因素，如上文的例子，找出与胃癌相关的危险因素；其次是用于预测，我们可以根据建立的Logistic 回归模型，预测在不同的自变量情况下，发生某病或某种情况的概率（包括风险评分的建立）。 2. 用Logistic回归估计危险度 所谓相对危险度（risk ratio , RR）是用来描述某一因素不同状态发生疾病（或其它结局）危险程度的 比值。Logistic回归给出的OR（odds ratio）值与相对危险度类似，常用来表示相对于某一人群，另一人群发生终点事件的风险超出或减少的程度。如不同性别的
胃癌发生危险不同，通过Logistic回归可以求出危险度的具体数值，例如1.7，
二分类Logistic 回归模型 在对资料进行统计分析时常遇到反应变量为分类变量的资料，那么，能否用类似于线性回归的模型来对这种资料进行分析呢？答案是肯定的。本章将向大家介绍对二分类因变量进行回归建模的Logistic 回归模型。 第一节 模型简介 一、模型入门 在很多场合下都能碰到反应变量为二分类的资料，如考察公司中总裁级的领导层中是否有女性职员、某一天是否下雨、某病患者结局是否痊愈、调查对象是否为某商品的潜在消费者等。对于分类资料的分析，相信大家并不陌生，当要考察的影响因素较少，且也为分类变量时，分析者常用列联表(contingency Table)的形式对这种资料进行整理，并使用2 χ检验来进行分析，汉存在分类的混杂因素时，还可应用Mantel-Haenszel 2 χ检验进行统计学检验，这种方法可以很好地控制混杂因素的影响。但是这种经典分析方法也存在局限性，首先，它虽然可以控制若干个因素的作用，但无法描述其作用大小及方向，更不能考察各因素间是否存在交互任用；其次，该方法对样本含量的要求较大，当控制的分层因素较多时，单元格被划分的越来越细，列联表的格子中频数可能很小甚至为0，将导致检验结果的不可靠。最后，2 χ检验无法对连续性自变量的影响进行分析，而这将大大限制其应用范围，无疑是其致使的缺陷。 那么，能否建立类似于线性回归的模型，对这种数据加以分析？以最简单的二分类因变量为例来加以探讨，为了讨论方便，常定义出现阳性结果时反应变量取值为1，反之则取值为0 。例如当领导层有女性职员、下雨、痊愈时反应变量1y =，而没有女性职员、未下雨、未痊愈时反应变量0y =。记出现阳性结果的频率为反应变量(1)P y =。 首先，回顾一下标准的线性回归模型： μ11m m Y x x αββ=+++L 如果对分类变量直接拟合，则实质上拟合的是发生概率，参照前面线性回归方程 ，很 自然地会想到是否可以建立下面形式的回归模型： μ11m m P x x αββ=+++L 显然，该模型可以描述当各自变量变化时，因变量的发生概率会怎样变化，可以满足 分析的基本要求。实际上，统计学家们最早也在朝这一方向努力，并考虑到最小二乘法拟合时遇到的各种问题，对计算方法进行了改进，最终提出了加权最小二乘法来对该模型进行拟合，至今这种分析思路还偶有应用。 既然可以使用加权最小二乘法对模型加以估计，为什么现在又放弃了这种做法呢？原因在于有以下两个问题是这种分析思路所无法解决的： （1）取值区间：上述模型右侧的取值范围，或者说应用上述模型进行预报的范围为整 个实数集(,)-∞+∞，而模型的左边的取值范围为01P ≤≤，二者并不相符。模型本身不能
多项分类Logistic回归分析的功能与意义 我们经常会遇到因变量有多个取值而且无大小顺序的情况，比如职业、婚姻情况等等，这时一般的线性回归分析无法准确地刻画变量之间的因果关系，需要用其它回归分析方法来进行拟合模型。SPSS的多项分类Logistic回归便是一种简便的处理该类因变量问题的分析方法。 例子：下表给出了对山东省某中学20名视力低下学生视力监测的结果数据。试用多项分类Logistic回归分析方法分析视力低下程度（由轻到重共3级）与年龄、性别（1代表男性，2代表女性）之间的关系。
“年龄”使之进入“协变量”列表框。
还是以教程“blankloan.sav"数据为例，研究银行客户贷款是否违约（拖欠）的问题，数据如下所示： 上面的数据是大约700个申请贷款的客户，我们需要进行随机抽样，来进行二元Logistic 回归分析，上图中的“0”表示没有拖欠贷款，“1”表示拖欠贷款，接下来，步骤如下： 1：设置随机抽样的随机种子，如下图所示：
选择“设置起点”选择“固定值”即可，本人感觉200万的容量已经足够了，就采用的默认值，点击确定，返回原界面、 2：进行“转换”—计算变量“生成一个变量（validate)，进入如下界面： 在数字表达式中，输入公式：rv.bernoulli（0.7），这个表达式的意思为：返回概率为0.7的bernoulli分布随机值 如果在0.7的概率下能够成功，那么就为1，失败的话，就为"0" 为了保持数据分析的有效性，对于样本中“违约”变量取缺失值的部分，validate变量也取缺失值，所以，需要设置一个“选择条件” 点击“如果”按钮，进入如下界面：
L o g i s t i c回归分析报告结果解读分析Logistic回归常用于分析二分类因变量(如存活和死亡、患病和未患病等)与多个自变量的关系。比较常用的情形是分析危险因素与是否发生某疾病相关联。例如，若探讨胃癌的危险因素，可以选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群有不同的临床表现和生活方式等，因变量就为有或无胃癌，即“是”或“否”，为二分类变量，自变量包括年龄、性别、饮食习惯、是否幽门螺杆菌感染等。自变量既可以是连续变量，也可以为分类变量。通过Logistic回归分析，就可以大致了解胃癌的危险因素。 Logistic回归与多元线性回归有很多相同之处，但最大的区别就在于他们的因变量不同。多元线性回归的因变量为连续变量；Logistic回归的因变量为二分类变量或多分类变量，但二分类变量更常用，也更加容易解释。 回归的用法 一般而言，Logistic回归有两大用途，首先是寻找危险因素，如上文的例子，找出与胃癌相关的危险因素；其次是用于预测，我们可以根据建立的Logistic回归模型，预测在不同的自变量情况下，发生某病或某种情况的概率(包括风险评分的建立)。 2.用Logistic回归估计危险度 所谓相对危险度(riskratio，RR)是用来描述某一因素不同状态发生疾病(或其它结局)危险程度的 比值。Logistic回归给出的OR(oddsratio)值与相对危险度类似，常用来表示相对于某一人群，另一人群发生终点事件的风险超出或减少的程度。如不同性别的胃癌发生危险不同，通过Logistic回归可以求出危险度的具体数值，例如，这样就表示，男性发生胃癌的风险是女性的倍。这里要注意估计的方向问题，以女性作为参照，男性患
如何用spss17.0进行二元和多元logistic回归分析 一、二元logistic回归分析 二元logistic回归分析的前提为因变量是可以转化为0、1的二分变量，如：死亡或者生存，男性或者女性，有或无，Yes或No，是或否的情况。 下面以医学中不同类型脑梗塞与年龄和性别之间的相互关系来进行二元logistic回归分析。 （一）数据准备和SPSS选项设置 第一步，原始数据的转化：如图1-1所示，其中脑梗塞可以分为ICAS、ECAS和NCAS三种，但现在我们仅考虑性别和年龄与ICAS的关系，因此将分组数据ICAS、ECAS和NCAS转化为1、0分类，是ICAS赋值为1，否赋值为0。年龄为数值变量，可直接输入到spss中，而性别需要转化为（1、0）分类变量输入到spss当中，假设男性为1，女性为0，但在后续分析中系统会将1，0置换（下面还会介绍），因此为方便期间我们这里先将男女赋值置换，即男性为“0”，女性为“1”。 图1-1 第二步：打开“二值Logistic 回归分析”对话框： 沿着主菜单的“分析（Analyze）→回归（Regression）→二元logistic （Binary Logistic）”的路径（图1-2）打开二值Logistic 回归分析选项框（图1-3）。
如图1-3左侧对话框中有许多变量，但在单因素方差分析中与ICAS 显著相关的为性别、年龄、有无高血压，有无糖尿病等（P<0.05），因此我们这里选择以性别和年龄为例进行分析。
在图1-3中，因为我们要分析性别和年龄与ICAS的相关程度，因此将ICAS选入因变量（Dependent）中，而将性别和年龄选入协变量（Covariates）框中，在协变量下方的“方法（Method）”一栏中，共有七个选项。采用第一种方法，即系统默认的强迫回归方法（进入“Enter”）。 接下来我们将对分类（Categorical），保存（Save），选项（Options）按照如图1-4、1-5、1-6中所示进行设置。在“分类”对话框中，因为性别为二分类变量，因此将其选入分类协变量中，参考类别为在分析中是以最小数值“0（第一个）”作为参考，还是将最大数值“1（最后一个）”作为参考，这里我们选择第一个“0”作为参考。在“存放”选项框中是指将不将数据输出到编辑显示区中。在“选项”对话框中要勾选如图几项，其中“exp(B)的CI(X)”一定要勾选，这个就是输出的OR和CI值，后面的95%为系统默认，不需要更改。
Logistic回归模型 1 Logistic回归模型的基本知识 1.1Logistic模型简介 主要应用在研究某些现象发生的概率，比如股票涨还是跌，公司成功或失败的概率，以及讨论概率与那些因素有关。显然作为概率值，一定有，因此很难用线性模型描述概率与自变量的关系，另外如果接近两个极端值，此时一般方法难以较好地反映p的微小变化。为此在构建与自变量关系的模型时，变换一下思路，不直接研究，而是研究的一个严格单调函数，并要求在接近两端值时对其微小变化很敏感。于是Logit 变换被提出来： （1）其中当从时，从，这个变化范围在模型数据处理上带来很大的方便，解决了上述面临的难题。另外从 函数的变形可得如下等价的公式： （2）模型(2)的基本要求是，因变量（y）是个二元变量，仅取0或1两个值，而因变量取1的概率就是模型要研究的对象。而，其中表示影响的第个因素，它可以是定性变量也可以是定量变量，。为此模型(2)可以表述成： （3）显然，故上述模型表明是的线性函数。此时我们称满足上面条件的回归方程为Logistic线性回归。 Logistic线性回归的主要问题是不能用普通的回归方式来分析模型，一方面离散变量的误差形式服从伯 努利分布而非正态分布，即没有正态性假设前提；二是二值变量方差不是常数，有异方差性。不同于多元线性回归的最小二乘估计法则(残差平方和最小)，Logistic变换的非线性特征采用极大似然估计的方法寻求最佳的回归系数。因此评价模型的拟合度的标准变为似然值而非离差平方和。 定义1 称事件发生与不发生的概率比为优势比(比数比odds ratio 简称OR)，形式上表示为 OR= （4） 定义2Logistic回归模型是通过极大似然估计法得到的，故模型好坏的评价准则有似然值来表征，称-2为估计值的拟合似然度，该值越小越好，如果模型完全拟合，则似然值为1，而拟合似然度达到最小，值为0。其中表示的对数似然函数值。 定义3记为估计值的方差-协方差矩阵，为的标准差矩阵，则称 （5）为的Wald统计量，在大样本时，近似服从分布，通过它实现对系数的显著性检验。 定义4 假定方程中只有常数项，即各变量的系数均为0，此时称 （6）为方程的显著性似然统计量，在大样本时，近似服从分布。 1.2 Logistic模型的分类及主要问题 根据研究设计的不同，Logistic回归通常分为成组资料的非条件Logistic回归和配对资料的条件Logistic 回归两种大类。还兼具两分类和多分类之分，分组与未分组之分，有序与无序变量之分。具体如下：
这个表类似于北京5环左右的房屋价钱，我们可以做出一个图，x轴是房屋的面积。y轴是房屋的售价，如下：
如果来了一个新的面积，假设在销售价钱的记录中没有的，我们怎么办呢？ 我们可以用一条曲线去尽量准的拟合这些数据，然后如果有新的输入过来，我们可以在将曲线上这个点对应的值返回。如果用一条直线去拟合，可能是下面的样子： 绿色的点就是我们想要预测的点。 首先给出一些概念和常用的符号。 房屋销售记录表：训练集(training set)或者训练数据(training data), 是我们流程中的输入数据，一般称为x 房屋销售价钱：输出数据，一般称为y 拟合的函数（或者称为假设或者模型）：一般写做 y = h(x) 训练数据的条目数(#training set),：一条训练数据是由一对输入数据和输出数据组成的输入数据的维度n (特征的个数，#features)
这个例子的特征是两维的，结果是一维的。然而回归方法能够解决特征多维，结果是一维多离散值或一维连续值的问题。 3 学习过程 下面是一个典型的机器学习的过程，首先给出一个输入数据，我们的算法会通过一系列的过程得到一个估计的函数，这个函数有能力对没有见过的新数据 给出一个新的估计，也被称为构建一个模型。就如同上面的线性回归函数。 4 线性回归 线性回归假设特征和结果满足线性关系。其实线性关系的表达能力非常强大，每个特征对结果的影响强弱可以由前面的参数体现，而且每个特征变量可以首 先映射到一个函数，然后再参与线性计算。这样就可以表达特征与结果之间的 非线性关系。 我们用X1，X2..Xn 去描述feature里面的分量，比如x1=房间的面积， x2=房间的朝向，等等，我们可以做出一个估计函数：
1 logistic回归 logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。例如，探讨引发疾病的危险因素，并根据危险因素预测疾病发生的概率等。以胃癌病情分析为例，选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群必定具有不同的体征与生活方式等。因此因变量就为是否胃癌，值为“是”或“否”，自变量就可以包括很多了，如年龄、性别、饮食习惯、幽门螺杆菌感染等。自变量既可以是连续的，也可以是分类的。然后通过logistic回归分析，可以得到自变量的权重，从而可以大致了解到底哪些因素是胃癌的危险因素。同时根据该权值可以根据危险因素预测一个人患癌症的可能性。 1.1 logistic回归概述 logistic回归是一种广义线性回归（generalized linear model），因此与多重线性回归分析有很多相同之处。它们的模型形式基本上相同，都具有w…x+b，其中w和b是待求参数，其区别在于他们的因变量不同，多重线性回归直接将w…x+b 作为因变量，即y =w…x+b，而logistic回归则通过函数L将w…x+b对应一个隐状态p，p =L(w…x+b),然后根据p 与1-p的大小决定因变量的值。如果L是logistic 函数，就是logistic回归，如果L是多项式函数就是多项式回归。 logistic回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更为常用，也更加容易解释，多类可以使用softmax方法进行处理。实际中最为常用的就是二分类的logistic回归。 Logistic回归模型的适用条件 1 因变量为二分类的分类变量或某事件的发生率，并且是数值型变量。但是需要注意，重复计数现象指标不适用于Logistic回归。 2 残差和因变量都要服从二项分布。二项分布对应的是分类变量，所以不是正态分布，进而不是用最小二乘法，而是最大似然法来解决方程估计和检验问题。 3 自变量和Logistic概率是线性关系 4 各观测对象间相互独立。 原理：如果直接将线性回归的模型扣到Logistic回归中，会造成方程二边取值区间不同和普遍的非直线关系。因为Logistic中因变量为二分类变量，某个概
Logistic回归分析报告结果解读分析Logistic回归常用于分析二分类因变量(如存活和死亡、患病和未患病等)与多个自变量的关系。比较常用的情形是分析危险因素与是否发生某疾病相关联。例如，若探讨胃癌的危险因素，可以选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群有不同的临床表现和生活方式等，因变量就为有或无胃癌，即“是”或“否”，为二分类变量，自变量包括年龄、性别、饮食习惯、是否幽门螺杆菌感染等。自变量既可以是连续变量，也可以为分类变量。通过Logistic回归分析，就可以大致了解胃癌的危险因素。 Logistic回归与多元线性回归有很多相同之处，但最大的区别就在于他们的因变量不同。多元线性回归的因变量为连续变量；Logistic回归的因变量为二分类变量或多分类变量，但二分类变量更常用，也更加容易解释。 1.Logistic回归的用法 一般而言，Logistic回归有两大用途，首先是寻找危险因素，如上文的例子，找出与胃癌相关的危险因素；其次是用于预测，我们可以根据建立的Logistic回归模型，预测在不同的自变量情况下，发生某病或某种情况的概率(包括风险评分的建立)。 2.用Logistic回归估计危险度 所谓相对危险度(risk ratio，RR)是用来描述某一因素不同状态发生疾病(或其它结局)危险程度的 比值。Logistic回归给出的OR(odds ratio)值与相对危险度类似，常用来表示相对于某一人群，另一人群发生终点事件的风险超出或减少的程度。如不同性别的胃癌发生危险不同，通过Logistic回归可以求出危险度的具体数值，例如1.7，
这样就表示，男性发生胃癌的风险是女性的1.7倍。这里要注意估计的方向问题，以女性作为参照，男性患胃癌的OR是1.7。如果以男性作为参照，算出的OR将会是0.588(1/1.7)，表示女性发生胃癌的风险是男性的0.588倍，或者说，是男性的58.8％。撇开了参照组，相对危险度就没有意义了。 Logistic回归在医学研究中广泛使用的原因之一，就是模型直接给出具有临床实际意义的OR值，很大程度上方便了结果的解读与推广。 图1 相对危险度(risk ratio，RR)与OR(odds ratio)的表达 3. Logistic报告OR值或β值 在Logistic回归结果汇报时，往往会遇到这样一个问题：是应该报告OR值，
Logistic 回归分析 Logistic 回归分析是与线性回归分析方法非常相似的一种多元统计方法。适用于因变量的取值仅有两个（即二分类变量，一般用1和0表示）的情况，如发病与未发病、阳性与阴性、死亡与生存、治愈与未治愈、暴露与未暴露等，对于这类数据如果采用线性回归方法则效果很不理想，此时用Logistic 回归分析则可以很好的解决问题。 一、Logistic 回归模型 设Y 是一个二分类变量，取值只可能为1和0，另外有影响Y 取值的n 个自变量12,,...,n X X X ，记12(1|,,...,)n P P Y X X X ==表示在n 个自变量的作用下Y 取值为1的概率，则Logistic 回归模型为： [] 011221 1exp (...)n n P X X X ββββ= +-++++ 它可以化成如下的线性形式： 01122ln ...1n n P X X X P ββββ??=++++ ?-?? 通常用最大似然估计法估计模型中的参数。 二、Logistic 回归模型的检验与变量筛选 根据R Square 的值评价模型的拟合效果。 变量筛选的原理与普通的回归分析方法是一样的，不再重复。 三、Logistic 回归的应用 （1）可以进行危险因素分析 计算结果各关于各变量系数的Wald 统计量和Sig 水平就直接反映了因素i X 对因变量Y 的危险性或重要性的大小。
（2）预测与判别 Logistic回归是一个概率模型，可以利用它预测某事件发生的概率。当然也可以进行判别分析，而且可以给出概率，并且对数据的要求不是很高。 四、SPSS操作方法 1．选择菜单 2．概率预测值和分类预测结果作为变量保存 其它使用默认选项即可。
假设有一个房屋销售的数据如下： 面积(m^2)销售价钱（万元） 123250 150320 87160 102220 …… 这个表类似于北京5环左右的房屋价钱，我们可以做出一个图，x轴是房屋的面积。y轴是房屋的售价，如下： 如果来了一个新的面积，假设在销售价钱的记录中没有的，我们怎么办呢？ 我们可以用一条曲线去尽量准的拟合这些数据，然后如果有新的输入过来，我们可以在将曲线上这个点对应的值返回。如果用一条直线去拟合，可能是下面的样子： 绿色的点就是我们想要预测的点。
首先给出一些概念和常用的符号。 房屋销售记录表：训练集(training set)或者训练数据(training data), 是我们流程中的输入数据，一般称为x 房屋销售价钱：输出数据，一般称为y 拟合的函数（或者称为假设或者模型）：一般写做y = h(x) 训练数据的条目数(#training set),：一条训练数据是由一对输入数据和输出数据组成的输入数据的维度n (特征的个数，#features) 这个例子的特征是两维的，结果是一维的。然而回归方法能够解决特征多维，结果是一维多离散值或一维连续值的问题。 3 学习过程 下面是一个典型的机器学习的过程，首先给出一个输入数据，我们的算法会通过一系列的过程得到一个估计的函数，这个函数有能力对没有见过的新数据给出一个新的估计，也被称为构建一个模型。就如同上面的线性回归函数。 4 线性回归 线性回归假设特征和结果满足线性关系。其实线性关系的表达能力非常强大，每个特征对结果的影响强弱可以由前面的参数体现，而且每个特征变量可以首先映射到一个函数，然后再参与线性计算。这样就可以表达特征与结果之间的非线性关系。 我们用X1，X2..Xn 去描述feature里面的分量，比如x1=房间的面积，x2=房间的朝向，等等，我们可以做出一个估计函数： θ在这儿称为参数，在这的意思是调整feature中每个分量的影响力，就是到底是房屋的面积更重要还是房屋的地段更重要。为了如果我们令X0 = 1，就可以用向量的方式来表示了：
SPSS操作：二分类Logistic回归 作者：张耀文 1、问题与数据 某呼吸内科医生拟探讨吸烟与肺癌发生之间的关系，开展了一项成组设计的病例对照研究。选择该科室内肺癌患者为病例组，选择医院内其它科室的非肺癌患者为对照组。通过查阅病历、问卷调查的方式收集了病例组和对照组的以下信息：性别、年龄、BMI、COPD病史和是否吸烟。变量的赋值和部分原始数据见表1和表2。该医生应该如何分析？ 表1. 肺癌危险因素分析研究的变量与赋值 表2. 部分原始数据 ID gender age BMI COPD smoke cancer 1 0 34 0 1 1 0 2 1 32 0 1 0 1 3 0 27 0 1 1 1 4 1 28 0 1 1 0 5 1 29 0 1 0 0 6 0 60 0 2 0 0 7 1 29 0 0 1 1 8 1 29 1 1 1 1 9 1 37 0 1 0 0 10 0 17 0 0 0 0 11 0 20 0 0 1 1 12 1 35 0 0 0 0 13 0 17 1 0 1 1
………………… 2、对数据结构的分析 该设计中，因变量为二分类，自变量（病例对照研究中称为暴露因素）有二分类变量（性别、BMI和是否吸烟）、连续变量（年龄）和有序多分类变量（COPD 病史）。要探讨二分类因变量与自变量之间的关系，应采用二分类Logistic回归模型进行分析。 在进行二分类Logistic回归（包括其它Logistic回归）分析前，如果样本不多而变量较多，建议先通过单变量分析（t检验、卡方检验等）考察所有自变量与因变量之间的关系，筛掉一些可能无意义的变量，再进行多因素分析，这样可以保证结果更加可靠。即使样本足够大，也不建议直接把所有的变量放入方程直接分析，一定要先弄清楚各个变量之间的相互关系，确定自变量进入方程的形式，这样才能有效的进行分析。 本例中单变量分析的结果见表3（常作为研究报告或论文中的表1）。 表3. 病例组和对照组暴露因素的单因素比较 病例组（n=85）对照组(n=259) χ2 /t统计量P 性别，男（%）56 (65.9) 126 (48.6) 7.629 <0.01 年龄（岁），x± s40.3 ±14.0 38.6 ±12.4 1.081 0.28 BMI，n (%) 正常48 (56.5) 137 (52.9) 0.329 0.57 超重或肥胖37 (43.5) 122 (47.1) COPD病史，n (%) 无21 (24.7) 114 (44.0) 14.123 <0.01 轻中度24 (28.2) 75 (29.0) 重度40 (47.1) 70 (27.0) 是否吸烟，n(%) 否18 (21.2) 106 (40.9) 10.829 <0.01 是67 (78.8) 153 (59.1) 单因素分析中，病例组和对照组之间的差异有统计学意义的自变量包括：性别、COPD病史和是否吸烟。 此时，应当考虑应该将哪些自变量纳入Logistic回归模型。一般情况下，建议纳入的变量有：1）单因素分析差异有统计学意义的变量（此时，最好将P值放宽一些，比如0.1或0.15等，避免漏掉一些重要因素）；2）单因素分析时，
[]logistic回归模型总结 logistic回归模型是最成熟也是应用最广泛的分类模型，通过学习和实践拟通过从入门、进阶到高级的过程对其进行总结，以便加深自己的理解也为对此有兴趣者提供学习的便利。 一、有关logistic的基本概念 logistic回归主要用来预测离散因变量与一组解释变量之间的关系 最常用的是二值型logistic。即因变量的取值只包含两个类别例如：好、坏；发生、不发生；常用Y=1或Y=0表示X表示解释变量则 P（Y=1|X）表示在X的条件下Y=1的概率，logistic回归的数学表达式为： log（p/1-p）=A+BX ＝Ｌ其中p/1-p称为优势比（ＯＤＤＳ）即发生与不发生的概率之比 可以根据上式反求出P（Y=1|X）＝１/（１＋ｅ＾-L） 根据样本资料可以通过最大似然估计计算出模型的参数 然后根据求出的模型进行预测 下面介绍logistic回归在ＳＡＳ中的实现以及输出结果的解释 二、logistic回归模型初步
ＳＡＳ中ｌｏｇｉｓｔｉｃ回归输出结果主要包括预测模型的评价以及模型的参数 预测模型的评价与多元线性回归模型的评价类似主要从以下几个层次进行 （１）模型的整体拟合优度 主要评价预测值与观测值之间的总体一致性。可以通过以下两个指标来进行检验 １、Ｈosmer-Lemeshowz指标 HL统计量的原假设Ho是预测值和观测值之间无显著差异，因此HL指标的P-Value的值越大，越不能拒绝原假设，即说明模型很好的拟合了数据。 在ＳＡＳ中这个指标可以用LACKFIT选项进行调用 ２、AIC和SC指标即池雷准则和施瓦茨准则 与线性回归类似AIC和SC越小说明模型拟合的越好 （2）从整体上看解释变量对因变量有无解释作用 相当于多元回归中的F检验在logistic回归中可以通过似然比（likelihood ratio
第十二章 Logistic 回归分析 一、Logistic 回归概述： Logistic 回归主要用于筛选疾病的危险因素、预后因素或评价治疗措施；通常以疾病的死亡、痊愈等结果发生的概率为因变量，以影响疾病发生和预后的因素为自变量建立模型。 二、Logistic 回归的分类及资料类型： 第一节 非条件Logistic 回归分析 一、Logistic 回归模型： Logistic 回归模型： logit （P ）= ln( p p -1) = β0+β1χ 1 + … +βn χn 二、回归系数的估计（参数估计）： 回归模型的参数估计：Logistic 回归模型的参数估计通常利用最大似然估计法。 三、假设检验： 1．Logistic 回归方程的检验： ·检验模型中所有自变量整体来看是否与所研究事件的对数优势比存在线性关系，也即方程是否成立。 ·检验的方法有似然比检验、比分检验（score test ）和Wald 检验（wald test ）。上述三种方法中，似然比检验最可靠。 ·似然比检验（likehood ratio test ）：通过比较包含与不包含某一个或几个待检验观察因素的两个模型的对数似然函数变化来进行，其统计量为G=-2ln(L)（又称Deviance ）。无效假设H 0：β=0。当H 0成立时，检验统计量G 近似服从自由度为N-P-1的X 2 分布。当G 大于临界值时，接受H 1,拒绝无效假设，认为从整体上看适合作Logistic 回归分析，回归方程成立。 2．Logistic 回归系数的检验： ·为了确定哪些自变量能进入方程，还需要对每个自变量的回归系数进行假设检验，判断其对模型是否有贡献。 ) (1101101101 1 11)](exp[11 )exp(1)exp(p p X X p p p p p p e X X X X X X p ββββββββββββ+++-+= +++-+=+++++++=
SPSS作业8：二项Logistic回归分析 为研究和预测某商品消费特点和趋势，收集到以往胡消费数据。数据项包括是否购买，性别，年龄和收入水平。这里采用Logistic回归的方法，是否购买作为被解释变量（0/1二值变量），其余各变量为解释变量，且其中性别和收入水平为品质变量，年龄为定距变量。变量选择采用Enter方法，性别以男为参照类，收入以低收入为参照类。 （一）基本操作： （1）选择菜单Analyz e－Regression－Binary Logistic; （2）选择是否购买作为被解释变量到Dependent框中，选其余各变量为解释变量到Covariates框中，采用Enter方法，结果如下： 分析：上表显示了对品质变量产生虚拟变量的情况，产生的虚拟变量命名为原变量名（编码）。可以看到，对收入生成了两个虚拟变量名为Income（1）和Income（2），分别表示是否中收入和是否高收入，两变量均为0时表示低收入；对性别生成了一个虚拟变量名为Gedder（1），表示是否女，取值为0
时表示为男。 消费的二项Logistic分析结果（二）（强制进入策略） 分析：上表显示了Logistic分析初始阶段（第零步）方程中只有常数项时的错判矩阵。可以看到：269人中实际没购买且模型预测正确，正确率为100％；162人中实际购买了但模型均预测错误，正确率为0%。模型总的预测正确率为62.4％。 消费的二项Logistic分析结果（三）（强制进入策略）
分析：上表显示了方程中只有常数项时的回归系数方面的指标，各数据项的含义依次为回归系数，回归系数标准误差，Wald检验统计量的观测值，自由度，Wald检验统计量的概率p值，发生比。由于此时模型中未包含任何解释变量，因此该表没有实际意义。 分析：上表显示了待进入方程的各个变量的情况，各数据项的含义依次为Score检验统计量的观测值，自由度和概率p值。可以看到，如果下一步Age 进入方程，则Score检验统计量的观测值为1.268，概率p值为0.26。如果显著性水平a为0.05，由于Age的概率p值大于显著性水平a，所以是不能进入方程的。但在这里，由于解释变量的筛选策略为Enter，所以这些变量也被强行进入方程。
如何用spss17.0进行二元和多元logistic 回归分析 一、二元logistic 回归分析 二元logistic 回归分析的前提为因变量是可以转化为0、1的二分变量，如：死亡或者生存，男性或者女性，有或无，Yes 或No ，是或否的情况。 下面以医学中不同类型脑梗塞与年龄和性别之间的相互关系来进行二元logistic 回归分析。 （一）数据准备和SPSS 选项设置 第一步，原始数据的转化：如图1-1所示，其中脑梗塞可以分为ICAS 、ECAS 和NCAS 三种，但现在我们仅考虑性别和年龄与ICAS 的关系，因此将分组数据ICAS 、ECAS 和NCAS 转化为1、0分类，是ICAS 赋值为1，否赋值为0。年龄为数值变量，可直接输入到spss 中，而性别需要转化为（1、0）分类变量输入到spss 当中，假设男性为1，女性为0，但在后续分析中系统会将1，0置换（下面还会介绍），因此为方便期间我们这里先将男女赋值置换，即男性为“0”，女性为“1”。 第二步：打开“二值Logistic 回归分析”对话框： 沿着主菜单的“分析（Analyze ）→回归（Regression ）→二元logistic （Binary Logistic ）”的路径（图1-2）打开二值Logistic 回归分析选项框（图1-3）。 如图1-3左侧对话框中有许多变量，但在单因素方差分析中与ICAS 显著相关的为性别、年龄、有无高血压，有无糖尿病等（P<0.05），因此我们这里选择以性别和年龄为例进行分析。 图 1-1
在图1-3中，因为我们要分析性别和年龄与ICAS 的相关程度，因此将ICAS 选入因变量（Dependent ）中，而将性别和年龄选入协变量（Covariates ）框中，在协变量下方的“方法（Method ）”一栏中，共有七个选项。采用第一种方法，即系统默认的强迫回归方法（进入“Enter ”）。 接下来我们将对分类（Categorical ），保存（Save ），选项（Options ）按照如图1-4、1-5、1-6中所示进行设置。在“分类”对话框中，因为性别为二分类变量，因此将其选入分类协变量中，参考类别为在分析中是以最小数值“0（第一个）”作为参考，还是将最大数值“1（最后一个）”作为参考，这里我们选择第一个“0”作为参考。在“存放”选项框中是指将不将数据输出到编辑显示区中。在“选项”对话框中要勾选如图几项，其中“exp(B)的CI(X)”一定要勾选，这个就是输出的OR 和CI 值，后面的95%为系统默认，不需要更改。 图 1-2 图1-3