逻辑回归模型分析见解
————————————————————————————————作者: ————————————————————————————————日期：
1.逻辑回归模型
1.１逻辑回归模型
考虑具有p个独立变量的向量,设条件概率为根据观测量相对于某事件发生的概率。逻辑回归模型可表示为
(1．１）
上式右侧形式的函数称为称为逻辑函数。下图给出其函数图象形式。
其中。如果含有名义变量,则将其变为dummy变量。一个具有k个取值的名义变量,将变为k－1个dummy变量。这样,有
（１．2)
定义不发生事件的条件概率为
（1.3）
那么，事件发生与事件不发生的概率之比为
（1.4）
这个比值称为事件的发生比(ｔhe oｄds oｆeｘｐeriｅnｃｉnｇan event),简称为o ｄds。因为０ (１．5) 1.2极大似然函数 假设有ｎ个观测样本,观测值分别为设为给定条件下 得到的概率。在同样条件下得到的条件概率为。于是,得到一个观测值的概率为 （1.6） 因为各项观测独立，所以它们的联合分布可以表示为各边际分布的乘积。 （1.7) 上式称为n个观测的似然函数。我们的目标是能够求出使这一似然函数的值最大的参数估计。于是，最大似然估计的关键就是求出参数,使上式取得最大值。 对上述函数求对数 (1.8） 上式称为对数似然函数。为了估计能使取得最大的参数的值。 对此函数求导,得到ｐ＋1个似然方程。 (1.９） ，j=1,２,..,p. 上式称为似然方程。为了解上述非线性方程，应用牛顿-拉斐森(Ｎewton－Ｒaphson)方法进行迭代求解。 1.3 牛顿-拉斐森迭代法 对求二阶偏导数，即Ｈｅssｉaｎ矩阵为 (1.10) 如果写成矩阵形式,以H表示Hessiaｎ矩阵,Ｘ表示 （1.１１) 令 （1.1２） 则。再令（注：前一个矩阵需转置)，即似然方程的矩阵形式。 得牛顿迭代法的形式为 (1.13） 注意到上式中矩阵Ｈ为对称正定的，求解即为求解线性方程ＨＸ＝U中的矩阵X。对Ｈ进行ｃｈolｅsky分解。 最大似然估计的渐近方差（asyｍpｔotic varｉance)和协方差(ｃovarianｃe）可以由信息矩阵(iｎｆorｍation matrix）的逆矩阵估计出来。而信息矩阵实际上是二阶导 数的负值，表示为。估计值的方差和协方差表示为,也就是说，估 计值的方差为矩阵Ｉ的逆矩阵的对角线上的值,而估计值和的协方差为除了对角线以外的值。然而在多数情况，我们将使用估计值的标准方差，表示为 ，fｏｒj=0,1,2,…,ｐ（1.14) ２.显著性检验 下面讨论在逻辑回归模型中自变量是否与反应变量显著相关的显著性检验。零假设：＝0（表示自变量对事件发生可能性无影响作用）。如果零假设被拒绝，说明事件发生可能性依赖于的变化。 2.1 Wａｌd test 对回归系数进行显著性检验时，通常使用Ｗalｄ检验,其公式为 (2．1) 其中, 为的标准误差。这个单变量Ｗald统计量服从自由度等于1的分布。 如果需要检验假设：＝0，计算统计量 （2.2) 其中，为去掉所在的行和列的估计值,相应地,为去掉所在的行和列的标准误差。这里,Waｌd统计量服从自由度等于p的分布。如果将上式写成矩阵形式，有 (2.3) 矩阵Ｑ是第一列为零的一常数矩阵。例如，如果检验，则。 然而当回归系数的绝对值很大时，这一系数的估计标准误就会膨胀,于是会导致Wａld统计值变得很小，以致第二类错误的概率增加。也就是说,在实际上会导致应该拒绝零假设时却未能拒绝。所以当发现回归系数的绝对值很大时，就不再用Wald统计值来检验零假设，而应该使用似然比检验来代替。 ２．２似然比(Liｋelihoｏｄrａｔｉo tesｔ）检验 在一个模型里面,含有变量与不含变量的对数似然值乘以-2的结果之差，服从分布。这一检验统计量称为似然比（liｋeｌihood ratｉo)，用式子表示为 （2.4） 计算似然值采用公式（1.8）。 倘若需要检验假设：＝0,计算统计量 （２.５) 上式中,表示＝0的观测值的个数,而表示=１的观测值的个数，那么n就表示所有观测值的个数了。实际上，上式的右端的右半部分表示只含有的似然值。统计量G服从自由度为p的分布 2.3 Scｏre检验 在零假设：＝0下，设参数的估计值为,即对应的=0。计算Scoｒe统计量的公式为 （２.6) 上式中,表示在＝0下的对数似然函数(1.9）的一价偏导数值,而表示在 ＝０下的对数似然函数(1.9）的二价偏导数值。Ｓcorｅ统计量服从自由度等于1的分布。 2.4 模型拟合信息 模型建立后，考虑和比较模型的拟合程度。有三个度量值可作为拟合的判断根据。(1)－2LogLikelihoｏｄ (2.7) （2) Akaiｋｅ信息准则(ＡkaｉkｅInformaｔion Cｒｉterion，简写为AIC） （2.8) 其中K为模型中自变量的数目，S为反应变量类别总数减1，对于逻辑回归有S=２－1=1。-2LｏgL的值域为0至，其值越小说明拟合越好。当模型中的参数数量越大时,似然值也就越大,-2ＬogL就变小。因此,将2（K+S）加到AIC公式中以抵销参数数量产生的影响。在其它条件不变的情况下，较小的AIC值表示拟合模型较好。 （3）Schwaｒｚ准则 这一指标根据自变量数目和观测数量对-2ＬoｇL值进行另外一种调整。SＣ指标的定义为 （2.9) 其中ｌn(n)是观测数量的自然对数。这一指标只能用于比较对同一数据所设的不同模型。在其它条件相同时,一个模型的AIC或ＳC值越小说明模型拟合越好。 3.回归系数解释 ３.1发生比 odｄs=［ｐ/(1-p)]，即事件发生的概率与不发生的概率之比。而发生比率(odds ratiｏn),即 (1)连续自变量。对于自变量，每增加一个单位，ｏdds ｒation为 (3．１) （２)二分类自变量的发生比率。变量的取值只能为0或1，称为ｄummy ｖaｒiable。当 取值为1，对于取值为0的发生比率为 (３.2） 亦即对应系数的幂。 (３)分类自变量的发生比率。 如果一个分类变量包括m个类别，需要建立的dummy variabｌe的个数为ｍ-1,所省略的那个类别称作参照类（rｅｆｅｒenｃe cａtegoｒｙ)。设ｄumｍy variable为,其系数为，对于参照类,其发生比率为。 3.２逻辑回归系数的置信区间 对于置信度１-，参数的10０%(１-）的置信区间为 (3.3） 上式中,为与正态曲线下的临界Ｚ值（cｒitiｃａl ｖalue）, 为系数估计的标准误差,和两值便分别是置信区间的下限和上限。当样本较大时,＝０.０5水平的系数的95%置信区间为 (３.４) ４.变量选择 4.1前向选择（forｗarｄｓeleｃtioｎ):在截距模型的基础上,将符合所定显著水平的自变量一次一个地加入模型。 具体选择程序如下 （１）常数(即截距)进入模型。 （２）根据公式(2.６)计算待进入模型变量的Scoｒｅ检验值，并得到相应的P值。 (3) 找出最小的p值，如果此p值小于显著性水平，则此变量进入模型。如果此变量是某个名义变量的单面化(ｄｕmmy）变量，则此名义变量的其它单面化变理同时也进入模型。不然，表明没有变量可被选入模型。选择过程终止。 （４) 回到(2）继续下一次选择。 4．2后向选择（ｂacｋward selectioｎ）:在模型包括所有候选变量的基础上，将不符合保留要求显著水平的自变量一次一个地删除。 具体选择程序如下 (１) 所有变量进入模型。 (２)根据公式（2．1)计算所有变量的Wａlｄ检验值,并得到相应的p值。 (３) 找出其中最大的p值,如果此P值大于显著性水平,则此变量被剔除。对于某个名 义变量的单面化变量,其最小ｐ值大于显著性水平,则此名义变量的其它单面化变量也被删除。不然，表明没有变量可被剔除，选择过程终止。 (４）回到(２)进行下一轮剔除。 ４.3逐步回归（stepwise ｓｅlｅｃtioｎ） (1)基本思想:逐个引入自变量。每次引入对Ｙ影响最显著的自变量，并对方程中的老变量逐个进行检验，把变为不显著的变量逐个从方程中剔除掉,最终得到的方程中既不漏掉对Ｙ影响显著的变量，又不包含对Y影响不显著的变量。 (２）筛选的步骤:首先给出引入变量的显著性水平和剔除变量的显著性水平,然后按下图筛选变量。 (3）逐步筛选法的基本步骤 逐步筛选变量的过程主要包括两个基本步骤:一是从不在方程中的变量考虑引入新变量的步骤；二是从回归方程中考虑剔除不显著变量的步骤。 假设有ｐ个需要考虑引入回归方程的自变量. ①设仅有截距项的最大似然估计值为。对p个自变量每个分别计算Scoｒe检验值, 设有最小p值的变量为，且有，对于单面化(duｍmy）变量,也如此。若，则此变量进入模型,不然停止。如果此变量是名义变量单面化(ｄｕｍmy)的 变量，则此名义变量的其它单面化变量也进入模型。其中为引入变量的显著性水平。 ②为了确定当变量在模型中时其它p-1个变量也是否重要，将分 别与进行拟合。对p-1个变量分别计算Ｓcore检验值,其p值设为。设有最小p值 的变量为,且有．若,则进入下一步,不然停止。对于单面化变量,其方式如同上步。 ③此步开始于模型中已含有变量与。注意到有可能在变量被引入后，变量不再重要。本步包括向后删除。根据（2.1）计算变量与的Wａld检验值,和相应的p 值。设为具有最大ｐ值的变量,即=mａx()，.如果此ｐ值大于,则 此变量从模型中被删除，不然停止。对于名义变量,如果某个单面化变量的最小ｐ值大于,则此名义变量从模型中被删除。 ④如此进行下去，每当向前选择一个变量进入后，都进行向后删除的检查。循环终止的条件是:所有的ｐ个变量都进入模型中或者模型中的变量的p值小于,不包含在模型中的变量的p值大于。或者某个变量进入模型后，在下一步又被删除，形成循环。 1.逻辑回归模型 1.1逻辑回归模型 考虑具有p个独立变量的向量,设条件概率为根据观测量相对于某事件发生的概率。逻辑回归模型可表示为 （1.1） 上式右侧形式的函数称为称为逻辑函数。下图给出其函数图象形式。 其中。如果含有名义变量，则将其变为dummy变量。一个具有k个取值的名义变量，将变为k-1个dummy变量。这样，有 （1.2） 定义不发生事件的条件概率为 （1.3） 那么，事件发生与事件不发生的概率之比为 （1.4） 这个比值称为事件的发生比(the odds of experiencing an event),简称为odds。因为0 得到的概率。在同样条件下得到的条件概率为。于是，得到一个观测值的概率为 （1.6） 因为各项观测独立，所以它们的联合分布可以表示为各边际分布的乘积。 （1.7） 上式称为n个观测的似然函数。我们的目标是能够求出使这一似然函数的值最大的参数估计。于是，最大似然估计的关键就是求出参数，使上式取得最大值。 对上述函数求对数 （1.8） 上式称为对数似然函数。为了估计能使取得最大的参数的值。 对此函数求导，得到p+1个似然方程。 （1.9） ，j=1,2,..,p. 上式称为似然方程。为了解上述非线性方程，应用牛顿－拉斐森(Newton-Raphson)方法进行迭代求解。 1.3牛顿－拉斐森迭代法 对求二阶偏导数，即Hessian矩阵为 （1.10） 如果写成矩阵形式，以Ｈ表示Hessian矩阵，Ｘ表示 （1.11） 令 新疆财经大学 实验报告 课程名称：统计学 实验项目名称：回归模型分析 姓名： lili 学号： 20000000 班级：工商2011-2班 指导教师： 2014 年5 月 新疆财经大学实验报告 附:实验数据。 1、作散点图,加趋势线， 2、建立回归模型（用公式编辑器写），对模型进行统计检验。解释模型意义SUMMARY OUTPUT 回归统计 Multiple R 0.974111881 R Square 0.948893956 Adjusted R Square 0.947131679 标准误差527.4648386 观测值31 方差分析 df SS MS F Significance F 回归分析 1 149806425.5 149806426 538.4476 2.82E-20 残差29 8068355.522 278219.156 总计30 157874781.1 Coefficients 标准误差t Stat P-value Lower 95% Upper 95% Intercept 121.5246471 365.0193913 0.33292655 0.741585 -625.024 X Variable 1 1.270433698 0.054749518 23.2044728 2.82E-20 1.158458 RESIDUAL OUTPUT 观测值预测 Y 残差标准残差 1 14252.56 -369.959 -0.71338 2 10116.66 196.2382 0.378401 3 7032.43 206.6701 0.398516 4 6607.597 412.4032 0.795225 5 7006.005 6.895144 0.013296 6 7843.094 -602.494 -1.16177 7 7098.874 -93.6736 -0.18063 8 6493.004 185.8963 0.358458 9 14147.49 720.0062 1.388367 10 8644.356 618.1438 1.191949 11 12461.12 717.8799 1.384267 12 6555.382 244.618 0.47169 13 9467.216 532.2839 1.026388 14 6365.198 536.2019 1.033943 15 7832.295 567.6051 1.094497 16 6399.5 526.5002 1.015235 17 7697.502 -375.502 -0.72407 18 7871.17 -171.17 -0.33006 19 12363.8 16.59511 0.032 20 7443.669 341.3307 0.658178 21 7111.959 147.341 0.284113 22 9164.599 -1070.9 -2.06498 23 7490.04 -448.14 -0.86414 24 6408.901 160.099 0.308714 25 7774.109 -130.509 -0.25166 26 10342.54 -1577.04 -3.04097 27 7362.997 -462.997 -0.89278 28 6852.282 -195.082 -0.37617 29 6982.121 -236.821 -0.45665 30 6893.317 -362.817 -0.69961 31 7260.6 -39.5998 -0.07636 y=β0+β1x y=121.225+1.27X 3、求相关系数与方向说明数意 根据以上的结果，0《r≤1,这表明x与y之间正线性相关，因为r=0.9741可视为高度相关； SPSS与社会统计学课程作业二 [1]陈昱,陈银蓉,马文博. 基于Logistic模型的水库移民安置区居民土地流转意愿分析——四川、湖南、湖北移民安置区的调查[J]. 资源科学,2011,06:1178-1185. 一、变量赋值 1.被解释变量用0表示不愿意流转，1表示愿意流转，有意愿上的状态表示效果。 2.性别分别用1和2表示男女，男女不存在有没有状态的表征，所以用1、2赋值非常合适；它的预计影响方向为负，是基于学者张林秀、刘承芳等认为：由于农村男性外出打工的几率高于女性，女性更愿意在家耕种土地，这就可能导致女性不愿意转出土地的基础上设定的。 3.教育程度越高赋值越高，且预测影响为正，这个也是在文章前面定量分析的时候引用学者李实的观点说明赋值的理由。 4.职业类型中，兼业化程度越高赋值越高，且为正向。从家庭收入对农业收入的依赖性原理角度来看这个不难理解。 5.其它变量的赋值依据实际情况初步判断也不能理解其赋值的缘由。然而对于“是否为村干部”这一变量来看，预测的趋向是：是村干部则不愿意流转，前面的分析并没有说明为什么会是这样。虽然这知识一种预判，但是若能够给出预判的一丁点理由就更好了。 二、系数解读 1.标准化系数中，x1，x3，x7，x9，x11，x12系数为付，意味着性别是男、与市中心距离 越近、家庭人口和劳动力人数越少、农业收入占比越少、认为土地经营权权属则土地流转的意愿越强； 2.其中X3(与市中心距离),x9（劳动力人数）影响系数绝对值较大，分别为0.815，0.322。 在显著性检验方面，x3、x9、x11分别通过了15%、1%、5%的显著性检验。也就是说，土地不愿意流转与劳动力人数多有显著相关性，与农业收入占比高有较显著的相关，与市中心距离近相关性不显著。 3.系数为正的变量中，影响系数均不高，但能通过显著性检验的有：x2、x5（15%）；x10、 x13（5%）；x4（1%）。说明文化程度高对愿意流转的影响是非常显著的，而且在系数为正的变量中，x4的系数为最大，说明x4与y（1）显著相关。 三、模型检验 1. 表1列出了某地区家庭人均鸡肉年消费量Y 与家庭月平均收入X ，鸡肉价格P 1，猪肉价格P 2与牛肉价格P 3的相关数据。 年份 Y/千 克 X/ 元 P 1/(元/千克) P 2/(元/千克) P 3/(元/千克) 年份 Y/千克 X/元 P 1/(元/ 千克) P 2/(元/ 千克) P 3/(元/千克) 1980 2.78 397 4.22 5.07 7.83 1992 4.18 911 3.97 7.91 11.40 1981 2.99 413 3.81 5.20 7.92 1993 4.04 931 5.21 9.54 12.41 1982 2.98 439 4.03 5.40 7.92 1994 4.07 1021 4.89 9.42 12.76 1983 3.08 459 3.95 5.53 7.92 1995 4.01 1165 5.83 12.35 14.29 1984 3.12 492 3.73 5.47 7.74 1996 4.27 1349 5.79 12.99 14.36 1985 3.33 528 3.81 6.37 8.02 1997 4.41 1449 5.67 11.76 13.92 1986 3.56 560 3.93 6.98 8.04 1998 4.67 1575 6.37 13.09 16.55 1987 3.64 624 3.78 6.59 8.39 1999 5.06 1759 6.16 12.98 20.33 1988 3.67 666 3.84 6.45 8.55 2000 5.01 1994 5.89 12.80 21.96 1989 3.84 717 4.01 7.00 9.37 2001 5.17 2258 6.64 14.10 22.16 1990 4.04 768 3.86 7.32 10.61 2002 5.29 2478 7.04 16.82 23.26 1991 4.03 843 3.98 6.78 10.48 （1） 求出该地区关于家庭鸡肉消费需求的如下模型： 01213243ln ln ln ln ln Y X P P P u βββββ=+++++ （2） 请分析，鸡肉的家庭消费需求是否受猪肉及牛肉价格的影响。 先做回归分析，过程如下： 输出结果如下： 1.逻辑回归模型 1.1 逻辑回归模型 考虑具有p个独立变量的向量■',设条件概率卩;上二?丨门二广为根据观测 量相对于某事件发生的概率。逻辑回归模型可表示为 ：「（ 1.1） 上式右侧形式的函数称为称为逻辑函数。下图给出其函数图象形式。 其中-" I' 1 c' ■-..【?。如果含有名义变量，则将其变为dummy 变量。一个具有k个取值的名义变量，将变为k-1个dummy 变量。这样，有 — I （ 1.2） 这个比值称为事件的发生比（the odds of experie ncing an event）, 0 得到I 的概率。在同样条件下得到-- 的条件概率为丨：一"。 得到一个观测值的概率为 因为各项观测独立，所以它们的联合分布可以表示为各边际分布的乘积。 (1.7) 上式称为n个观测的似然函数。我们的目标是能够求出使这一似然函数的值最大的参数估 譏备心)( 」' (1.10 是， ◎ )*(1 ￥严(1.6 ) i-l 计。于是，最大似然估计的关键就是求出参数：- ，使上式取得最大值。 对上述函数求对数 — (1.8) 上式称为对数似然函数。为了估计能使亠取得最大的参数的值。 对此函数求导，得到p+1个似然方程。 Ei 片 n：—E L尹—心肿一时 (1.9 ) ^叶切迄尸，j=1,2,..,p. 上式称为似然方程。为了解上述非线性方程，应用牛顿-拉斐森 进行迭代求解。 (Newto n-Raphs on) 方法1.3 牛顿-拉斐森迭代法 对-八?求二阶偏导数，即Hessian矩阵为 如果写成矩阵形式，以H表示Hessian矩阵，X表示 (1.11 ) 第八章 回归分析方法 当人们对研究对象的内在特性和各因素间的关系有比较充分的认识时，一般用机理分析方法建立数学模型。如果由于客观事物内部规律的复杂性及人们认识程度的限制，无法分析实际对象内在的因果关系，建立合乎机理规律的数学模型，那么通常的办法是搜集大量数据，基于对数据的统计分析去建立模型。本章讨论其中用途非常广泛的一类模型——统计回归模型。回归模型常用来解决预测、控制、生产工艺优化等问题。 变量之间的关系可以分为两类：一类叫确定性关系，也叫函数关系，其特征是：一个变量随着其它变量的确定而确定。另一类关系叫相关关系，变量之间的关系很难用一种精确的方法表示出来。例如，通常人的年龄越大血压越高，但人的年龄和血压之间没有确定的数量关系，人的年龄和血压之间的关系就是相关关系。回归分析就是处理变量之间的相关关系的一种数学方法。其解决问题的大致方法、步骤如下： （1）收集一组包含因变量和自变量的数据； （2）选定因变量和自变量之间的模型，即一个数学式子，利用数据按照最小二乘准则计算模型中的系数； （3）利用统计分析方法对不同的模型进行比较，找出与数据拟合得最好的模型； （4）判断得到的模型是否适合于这组数据； （5）利用模型对因变量作出预测或解释。 应用统计分析特别是多元统计分析方法一般都要处理大量数据，工作量非常大，所以在计算机普及以前，这些方法大都是停留在理论研究上。运用一般计算语言编程也要占用大量时间，而对于经济管理及社会学等对高级编程语言了解不深的人来说要应用这些统计方法更是不可能。MATLAB 等软件的开发和普及大大减少了对计算机编程的要求，使数据分析方法的广泛应用成为可能。MATLAB 统计工具箱几乎包括了数理统计方面主要的概念、理论、方法和算法。运用MATLAB 统计工具箱，我们可以十分方便地在计算机上进行计算，从而进一步加深理解，同时，其强大的图形功能使得概念、过程和结果可以直观地展现在我们面前。本章内容通常先介绍有关回归分析的数学原理，主要说明建模过程中要做的工作及理由，如模型的假设检验、参数估计等，为了把主要精力集中在应用上，我们略去详细而繁杂的理论。在此基础上再介绍在建模过程中如何有效地使用MATLAB 软件。没有学过这部分数学知识的读者可以不深究其数学原理，只要知道回归分析的目的，按照相应方法通过软件显示的图形或计算所得结果表示什么意思，那么，仍然可以学到用回归模型解决实际问题的基本方法。包括：一元线性回归、多元线性回归、非线性回归、逐步回归等方法以及如何利用MATLAB 软件建立初步的数学模型，如何透过输出结果对模型进行分析和改进，回归模型的应用等。 8.1 一元线性回归分析 回归模型可分为线性回归模型和非线性回归模型。非线性回归模型是回归函数关于未知参数具有非线性结构的回归模型。某些非线性回归模型可以化为线性回归模型处理；如果知道函数形式只是要确定其中的参数则是拟合问题，可以使用MATLAB 软件的curvefit 命令或nlinfit 命令拟合得到参数的估计并进行统计分析。本节主要考察线性回归模型。 8.1.1 一元线性回归模型的建立及其MATLAB 实现 其中01ββ，是待定系数，对于不同的,x y 是相互独立的随机变量。 假设对于x 的n 个值i x ，得到 y 的n 个相应的值i y ，确定01ββ，的方法是根据最小二乘准则，要使 取最小值。利用极值必要条件令 01 0,0Q Q ββ??==??，求01ββ，的估计值01??ββ，，从而得到回归直线01 ??y x ββ=+。只不过这个过程可以由软件通过直线拟合完成，而无须进行繁杂的运算。 L o g i s t i c回归分析报告结果解读分析 Company number：【0089WT-8898YT-W8CCB-BUUT-202108】 Logistic回归分析报告结果解读分析Logistic回归常用于分析二分类因变量(如存活和死亡、患病和未患病等)与多个自变量的关系。比较常用的情形是分析危险因素与是否发生某疾病相关联。例如，若探讨胃癌的危险因素，可以选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群有不同的临床表现和生活方式等，因变量就为有或无胃癌，即“是”或“否”，为二分类变量，自变量包括年龄、性别、饮食习惯、是否幽门螺杆菌感染等。自变量既可以是连续变量，也可以为分类变量。通过Logistic回归分析，就可以大致了解胃癌的危险因素。 Logistic回归与多元线性回归有很多相同之处，但最大的区别就在于他们的因变量不同。多元线性回归的因变量为连续变量；Logistic回归的因变量为二分类变量或多分类变量，但二分类变量更常用，也更加容易解释。 回归的用法 一般而言，Logistic回归有两大用途，首先是寻找危险因素，如上文的例子，找出与胃癌相关的危险因素；其次是用于预测，我们可以根据建立的Logistic回归模型，预测在不同的自变量情况下，发生某病或某种情况的概率(包括风险评分的建立)。 2.用Logistic回归估计危险度 所谓相对危险度(risk ratio，RR)是用来描述某一因素不同状态发生疾病(或其它结局)危险程度的 比值。Logistic回归给出的OR(odds ratio)值与相对危险度类似，常用来表示相对于某一人群，另一人群发生终点事件的风险超出或减少的程度。如不同性别的胃癌发生危险不同，通过Logistic回归可以求出危险度的具体数值，例如，这样就表示，男性发生胃癌的风险是女性的倍。这里要注意估计的方向问题，以女性作为参照，男性患胃癌 SPSS操作方法之五 SPSS操作方法：逻辑回归 例证8.3: 在一次关于公共交通的社会调查中,一个调查项目是“乘公交车上下班,还是骑自行车上下班”因变量Y=1表示乘车，Y=0表示骑车。自变量X1表示年龄；X2表示表示月收入；X3表示性别，取1时为男性，取0时为女性。调查对象为工薪族群体。数据见下表：试建立Y与自变量之间的Logistic回归。 逻辑回归SPSS操作方法的具体步骤： 1．选择Analyze→Regreessin→Binary Logistic,打开对话框如图1所示： 图1 主对话框Logistic回归。 2．选择因变量Y进入Dependent框内，将自变量选择进入Convariates框。也可以将不同的自变量组放在不同的块（block）中，可以分析不同的自变量组对因变量的贡献。 3．在Mothed框内选择自变量的筛选策略： Enter表示强行进入法；（本例选择） Forword和Bacword都表示逐步筛选策略；Forword 为自变量逐步进入，Bacword是自变量逐步剔出。Conditional ;LR; Wald分别表示不同的检验统计量，如Forword Wald表示自变量进入方程的依据是Wald统计量。 4．在Selection中选择一个变量作为条件变量，只有满足条件的变量数据才能参与回归分析。 5．单击Categorical打开Categorical对话框如图2所示：对定性变量的自变量选择参照类。常用的方法是Indicator，即以某个特定的类为参照类，Last表示以最大值对应的类为参照类（系统默认），First表示以最小值对应的类为参照类。选择后点击Continue按钮返回主对话框。（本例不作选择性） 图2 Categorical对话框 6．单击Option按钮，打开Option对话框如图3所示 Logistic回归分析报告结果解读分析Logistic回归常用于分析二分类因变量(如存活和死亡、患病和未患病等)与多个自变量的关系。比较常用的情形是分析危险因素与是否发生某疾病相关联。例如，若探讨胃癌的危险因素，可以选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群有不同的临床表现和生活方式等，因变量就为有或无胃癌，即“是”或“否”，为二分类变量，自变量包括年龄、性别、饮食习惯、是否幽门螺杆菌感染等。自变量既可以是连续变量，也可以为分类变量。通过Logistic 回归分析，就可以大致了解胃癌的危险因素。 Logistic回归与多元线性回归有很多相同之处，但最大的区别就在于他们的因变量不同。多元线性回归的因变量为连续变量；Logistic回归的因变量为二分类变量或多分类变量，但二分类变量更常用，也更加容易解释。 回归的用法 一般而言，Logistic回归有两大用途，首先是寻找危险因素，如上文的例子，找出与胃癌相关的危险因素；其次是用于预测，我们可以根据建立的Logistic 回归模型，预测在不同的自变量情况下，发生某病或某种情况的概率(包括风险评分的建立)。 2.用Logistic回归估计危险度 所谓相对危险度(risk ratio，RR)是用来描述某一因素不同状态发生疾病(或其它结局)危险程度的 比值。Logistic回归给出的OR(odds ratio)值与相对危险度类似，常用来表示相对于某一人群，另一人群发生终点事件的风险超出或减少的程度。如不同性别的胃癌发生危险不同，通过Logistic回归可以求出危险度的具体数值，例如，这样就表示，男性发生胃癌的风险是女性的倍。这里要注意估计的方向问题，以女性作为参照，男性患胃癌的OR是。如果以男性作为参照，算出的OR将会是(1/，表示女性发生胃癌的风险是男性的倍，或者说，是男性的％。撇开了参照组，相对危险度就没有意义了。 逻辑回归模型分析见解 1.逻辑回归模型 1.1逻辑回归模型 考虑具有P个独立变量的向量*=（Xl，X2，”q）,设条件概率= 为根据观测量相对于某事件发生 的概率。逻辑回归模型可表示为 1 L十严 上式右侧形式的函数称为称为逻辑函数。下图给出其函数图象形式。 其中。如果含有名义变量，则将其变为dummy 变量。一个具有k个取值的名义变量，将变为k-1个dummy 变量。这样，有 定义不发生事件的条件概率为 (1.1) (1.2) 尸wmx 十各-占 (1.3 ) 那么，事件发生与事件不发生的概率之比为 F （H =1|幻—P “曲 = Q | x ） \-p 这个比值称为事件 的发生比 (the odds of experie ncing an eve nt), 简称为 odds 。 因为0 于是，最大似然估计的关键就是求出参数 ，使上式取得 最大值。 对上述函数求对数 山应?*的?召仙恥区；］丨门丫」訓：叩丄】 （i 8 ） 上式称为对数似然函数。为了估计能使 ￡（旳取得 最大的参数的值。 对此函数求导，得到p+1个似然方程。 纠片-v 相严纠# _ ］新.站卄”和丸 （i 9 ） 圣屮.『；-* 几-百工 一 f Ji' j=1 2 p 上式称为似然方程。为了解上述非线性方程，应 用牛顿一拉斐森 （Newto n-Raphso n ） 方法 进行迭代求解。 亦占二址（1-隔） 兰丝二-S 耳赳兀（1-花） 阴阴处心“ （1.10 ） 如果写成矩阵形式，以H 表示 Hessian 矩阵, X 表示 1.3 牛顿-拉斐森迭代法 对心；求二阶偏导数，即Hessian 矩阵为 护 M - i-l Logistic 回归模型 1 Logistic 回归模型的基本知识 1.1 Logistic 模型简介 主要应用在研究某些现象发生的概率p ，比如股票涨还是跌，公司成功或失败的概率，以及讨论概率 p 与那些因素有关。显然作为概率值，一定有10≤≤p ，因此很难用线性模型描述概率p 与自变量的关 系，另外如果p 接近两个极端值，此时一般方法难以较好地反映p 的微小变化。为此在构建p 与自变量关系的模型时，变换一下思路，不直接研究p ，而是研究p 的一个严格单调函数)(p G ，并要求)(p G 在p 接近两端值时对其微小变化很敏感。于是Logit 变换被提出来： p p p Logit -=1ln )( （1） 其中当p 从10→时，)(p Logit 从+∞→∞-，这个变化范围在模型数据处理上带来很大的方便， 解决了上述面临的难题。另外从函数的变形可得如下等价的公式： X T X T T e e p X p p p Logit βββ+= ?=-=11ln )( （2） 模型(2)的基本要求是，因变量（y ）是个二元变量，仅取0或1两个值，而因变量取1的概率 )|1(X y P =就是模型要研究的对象。而T k x x x X ),,,,1(21 =，其中i x 表示影响y 的第i 个因素，它可以 是定性变量也可以是定量变量，T k ),,,(10ββββ =。为此模型(2)可以表述成： k x k x k x k x k k e e p x x p p βββββββββ+++++++=?+++=- 1101 1011011ln （3） 显然p y E =)(，故上述模型表明) (1) (ln y E y E -是k x x x ,,,21 的线性函数。此时我们称满足上面条件 的回归方程为Logistic 线性回归。 Logistic 线性回归的主要问题是不能用普通的回归方式来分析模型，一方面离散变量的误差形式服从伯努利分布而非正态分布，即没有正态性假设前提；二是二值变量方差不是常数，有异方差性。不同于多元线性回归的最小二乘估计法则(残差平方和最小)，Logistic 变换的非线性特征采用极大似然估计的方法寻求最佳的回归系数。因此评价模型的拟合度的标准变为似然值而非离差平方和。 定义1 称事件发生与不发生的概率比为 优势比(比数比 odds ratio 简称OR)，形式上表示为 OR= k x k x e p p βββ+++=- 1101 （4） 定义2 Logistic 回归模型是通过极大似然估计法得到的，故模型好坏的评价准则有似然值来表征，称 -2?ln ()L β 为估计值β?的拟合似然度，该值越小越好，如果模型完全拟合，则似然值?()L β为1，而拟合似然度达到最小，值为0。其中?()lnL β 表示β?的对数似然函数值。 定义3 记)?(β Var 为估计值β?的方差-协方差矩阵，2 1 )]?([)?(ββVar S =为β?的标准差矩阵，则称 k i S w ii i i ,,2,1,]?[ 2 ==β （5） 为i β?的Wald 统计量，在大样本时，i w 近似服从)1(2 χ分布，通过它实现对系数的显著性检验。 基于因子分析和Logistic回归分析的 儿童心理发展状况及其对策研究 摘要：目前，在儿童心理健康研究中，归纳方法已经比较成熟了，而对数据进行数学分析的方法还不够完善，本文主要运用因子分析、主成分分析和Logistics分析等多元统计学中的分析方法，对儿童心理健康状况做了一定的科学分析。通过分析，得到了影响孩子心理健康的因素，并提出针对性的解决方案，提出了一些行之有效的解决措施。通过归纳法与数据分析法的比较，数据分析比归纳法更具有科学依据也更为准确。 关键词：因子分析；主成分分析；Logistics回归分析；心理健康；儿童 Abstract：At present, in the study of children's mental health, the method of induction has become more mature, and the method of mathematical analysis of data is still not perfect. This article mainly uses multivariate analysis methods such as factor analysis, principal component analysis, and logistic analysis. The children's mental health status has done some scientific analysis. Through analysis, the factors that affect the children's mental health are obtained, and specific solutions are proposed, and some effective solutions are proposed. By comparing the induction method with the data analysis method, the data analysis is more scientific and accurate than the induction method. Key word: Factor analysis; Principal component analysis; Logistics analysis ; Mental health; Children 摘要 回归分析和方差分析是探究和处理相关关系的两个重要的分支,其中回归分析方法是预测方面最常用的数学方法,它是利用统计数据来确定变量之间的关系,并且依据这种关系来预测未来的发展趋势。本文主要介绍了一元线性回归分析方法和多元线性回归分析方法的一般思想方法和一般步骤,并且用它们来研究和分析我们在生活中常遇到的一些难以用函数形式确定的变量之间的关系。在解决的过程中,建立回归方程,再通过该回归方程进行预测。 关键词:多元线性回归分析;参数估计;F检验 回归分析在数学建模中的应用 Abstract Regression analysis and analysis of variance is the inquiry and processing of the correlation between two important branches, wherein the regression analysis method is the most commonly used mathematical prediction method, it is the use of statistical data to determine the relationship between the variables, and based on this relationship predict future trends. introduces a linear regression analysis and multiple linear regression analysis method general way of thinking and the general steps, and use them to research and analysis that we encounter in our life, are difficult to determine as a function relationship between the variables in the solving process, the regression equation is established by the regression equation to predict. Keywords:Multiple linear regression analysis; parameter estimation;inspection II 对线性回归、逻辑回归、各种回归的概念学习回归问题的条件/前提： 1）收集的数据 2）假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个模型去预测/分类新的数据。 1. 线性回归 假设特征和结果都满足线性。即不大于一次方。这个是针对收集的数据而言。 收集的数据中，每一个分量，就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数，向量表示形式： 这个就是一个组合问题，已知一些数据，如何求里面的未知参数，给出一个最优解。一个线性矩阵方程，直接求解，很可能无法直接求解。有唯一解的数据集，微乎其微。 基本上都是解不存在的超定方程组。因此，需要退一步，将参数求解问题，转化为求最小误差问题，求出一个最接近的解，这就是一个松弛求解。 求一个最接近解，直观上，就能想到，误差最小的表达形式。仍然是一个含未知参数的线性模型，一堆观测数据，其模型与数据的误差最小的形式，模型与数据差的平方和最小： 这就是损失函数的来源。接下来，就是求解这个函数的方法，有最小二乘法，梯度下降法。 https://www.doczj.com/doc/9c16758733.html,/wiki/%E7%BA%BF%E6%80%A7%E6%96%B9%E7%A8%8B%E7%BB%84 最小二乘法 是一个直接的数学求解公式，不过它要求X是列满秩的， 梯度下降法 分别有梯度下降法，批梯度下降法，增量梯度下降。本质上，都是偏导数，步长/最佳学习率，更新，收敛的 问题。这个算法只是最优化原理中的一个普通的方法，可以结合最优化原理来学，就容易理解了。 2. 逻辑回归 逻辑回归与线性回归的联系、异同？ 逻辑回归的模型是一个非线性模型，sigmoid函数，又称逻辑回归函数。但是它本质上又是一个线性回归模型，因为除去sigmoid映射函数关系，其他的步骤，算法都是线性回归的。可以说，逻辑回归，都是以线性回归为理论支持的。只不过，线性模型，无法做到sigmoid的非线性形式，sigmoid可以轻松处理0/1分类问题。 另外它的推导含义：仍然与线性回归的最大似然估计推导相同，最大似然函数连续积（这里的分布，可以使伯努利分布，或泊松分布等其他分布形式），求导，得损失函数。 逻辑回归函数 表现了0,1分类的形式。 应用举例： 是否垃圾分类？ 是否肿瘤、癌症诊断？ 是否金融欺诈？ 3. 一般线性回归 线性回归是以高斯分布为误差分析模型；逻辑回归采用的是伯努利分布分析误差。 而高斯分布、伯努利分布、贝塔分布、迪特里特分布，都属于指数分布。 而一般线性回归，在x条件下，y的概率分布p(y|x) 就是指指数分布. 基于SPSS logistic回归分析探究不同月均收入的男女比例 一一一 华北科技学院基础部北京东燕郊 065201 摘要：在计划经济时代,由于中国政府推行男女性别平等的就业制度和工资分配制度,因而城市劳动力性别工资差异并不明显。经济改革以来,伴随着由计划经济向市场经济的转型,工资分配机制发生了根本改变,性别工资差异越来越明显。性别分割是我国劳动力市场上一直存在的一种现象,性别收入差距总体趋势在扩大;个体特征差异能够在一定程度上解释性别收入差异,现阶段性别收入差异在很大程度上是由于劳动者本身的人力资本水平引起的,是正常合理的范围;歧视仍然是造成性别收入差距的一个原因,女性在获得教育的机会上还是比男性要低,而且女性很难进入到高收入行业和职业,使得在教育方面女性仍然处于不利地位。本文将运用SPSS二元回归分析探究不同月均收入对应的男女比例并得出结论，旨在对分析结果提出一些有建设性的建议。 关键词：logistic回归分析；SPSS软件；人均收入；性别比例 Based on SPSS logistic regression analysis to explore the sex ratio of different monthly income NIU Xiaoyu （North China institute of science and technology，Beijing，065201，China） Abstract: In the era of planned economy, as a result of the Chinese government to implement gender equality employment system and salary distribution system, and urban labor gender wage gap is not obvious. Since the economic reform, with the transition from planned economy to market economy, fundamental changes have taken place in wage distribution mechanism, the gender wage gap is more and more obvious. Gender segmentation is China's labor market has been a phenomenon of gender overall trend in the expanding income gap; Individual characteristics can partly explain the gender income differences, gender differences at present stage is largely caused by the human capital level of laborer itself, is a normal reasonable range; Discrimination is still a cause of the gender pay gap, women in the opportunity to gain education or lower than men, 回归模型的残差分析 山东 胡大波 判断回归模型的拟合效果是回归分析的重要内容，在回归分析中，通常用残差分析来判断回归模型的拟合效果。下面具体分析残差分析的途径及具体例子。 一、 残差分析的两种方法 1、差分析的基本方法是由回归方程作出残差图，通过观测残差图，以分析和发现观测数据中可能出现的错误以及所选用的回归模型是否恰当；在残差图中，残差点比较均匀地落在水平区域中，说明选用的模型比较合适，这样的带状区域的宽度越窄，说明模型的拟合精度越高，回归方程的预报精度越高。 2、可以进一步通过相关指数∑∑==--- =n i i n i i i y y y y R 1 2 1 2 ^ 2 )()(1来衡量回归模型的拟合效果，一般 规律是2 R 越大，残差平方和就越小，从而回归模型的拟合效果越好。 二、 典例分析： 例1、某运动员训练次数与运动成绩之间的数据关系如下： 试预测该运动员训练47次以及55次的成绩。 解答：（1）作出该运动员训练次数x 与成绩y 之间的散点图，如图1所示，由散点图可 知，它们之间具有线性相关关系。 （2）列表计算： 由上表可求得875.40,25.39==y x ， 126568 1 2 =∑=i i x ，137318 1 2=∑=i i y ， 131808 1 =∑=i i i y x ，所以∑∑==---= 8 1 2 8 1 )() )((i i i i i x x y y x x β.0415.188 1 2 28 1≈--= ∑∑==i i i i i x x y x y x 00302.0-≈-=x y βα，所以回归直线方程为.00302.00415.1^ -=x y （3）计算相关系数 将上述数据代入∑∑∑===---= 8 1 8 1 2 22 2 8 1 ) 8)(8(8i i i i i i i y y x x y x y x r 得992704.0=r ，查表可知 707.005.0=r ，而05.0r r >，故y 与x 之间存在显着的相关关系。 （4）残差分析： 作残差图如图2，由图可知，残差点比较均匀地分布在水平带状区域中，说明选用的模型比较合适。 计算残差的方差得884113.02 =σ ，说明预报的精度较高。 （5）计算相关指数2 R 计算相关指数2 R ＝0.9855.说明该运动员的成绩的差异有98.55％是由训练次数引起的。 （6）做出预报 由上述分析可知，我们可用回归方程 .00302.00415.1^ -=x y 作为该运动员成绩的预报值。 将x ＝47和x ＝55分别代入该方程可得y ＝49和y ＝57， 故预测运动员训练47次和55次的成绩分别为49和57. 点评：一般地，建立回归模型的基本步骤为： （1）确定研究对象，明确哪个变量是解释变量，哪个变量是预报变量； （2）画出确定好的解释变量和预报变量的散点图，观察它们之间的关系（如是否存在线性关系等）； （3）由经验确定回归方程的类型（如我们观察到数据呈线性关系，则选用线性回归方程y ＝bx ＋a ）； （4）按一定规则估计回归方程中的参数（如最小二乘法）； （5）得出结果后分析残差图是否有异常（个别数据对应残差过大，或残差呈现不随机的规律性等等），若存在异常，则检查数据是否有误，或模型是否合适等。 例2、某城区为研究城镇居民月家庭人均生活费支出和月人均收入的相关关系，随机抽取 基于R 软件的Logistic 回归实证分析 应用统计 章程 1220120484 摘要：Logisic 回归模型是研究响应变量为非连续变量时的一种重要分析方法，但它的计算依赖于统计软件。本文通过实证对使用R 软件处理Logistic 模型做出简要分析。 引言：线性回归模型是定量分析和数据挖掘中最常用的统计分析方法之一，但线性回归分析一般要求响应变量是连续变量、数据分布为正态分布等条件。在实际分析研究中，经常遇到的是非连续的响应变量，即分类响应变量，如经济学研究中所涉及的是否购买某种商品、流行病学中研究的某些条件下是否会患病等。在研究二分变量与诸多自变量之间的相互关系时，通常选用Logistic 回归模型。 1、Logistic 回归 Logistic 模型是由比利时生物学家Verhulst 于1838年提出，最早是为了研究人口问题而对Malthus 方程做出的改进，起初并没有引起重视，后来美国人口学家Pear 在研究美国人口问题时再次提出这个方程才使其开始流行，故现代文献中常称之为Verhulst-pearl 阻碍方程。该模型之所以称为Logistic 模型，是因为其有某种推理的含义。 一般的Logistic 模型形式如下： () ()() 12n 011n 011n P Y=1|x ,x ,exp x x 1exp x x ββββββ+++=++++n n …,x …… 对上式做logit 变换，Logistic 回归模型可以写成： 011n p logit(p)=ln()=x x 1-p βββ+++n … 由于Logistic 回归模型涉及较复杂的数学理论，数据统计分析的计算往往较为复杂，一般无法用手工计算，只能在计算机上实现。在统计软件方面，常用的有SAS 、SPSS 、S-PLUS 等，但这些软件大多是商业性的，需要支付昂贵的购买费用。而R 软件是一款免费的统计软件，它提供了有弹性的、互动的环境来分析、展示数据，且提供若干统计程序包以及一些集成统计计算工具和函数，使得用户可以灵活机动地进行数据分析，简化了数据分析过程。它可以完成大多数模型的统计计算，并帮助用户分析计算结果。本文将结合实例，展示如何在R 软件中实现对Logistic 模型的统计分析。 2、Logistic 模型的拟合 回归模型的拟合主要是求模型中的参数估计值，Logistic 模型的参数估计通常采用极大似然法（maximum likelihood ，ML ）。极大似然法的基本思想是先建立似然函数与对数似然函数，再通过使对数似然函数最大来求解相应的参数值，所得到的估计值称为参数的极大似然估计值。极大似然估计具有一致性、有效性和正态性等很好的统计性质，样本数据越大时，其估计值就越精确。 鉴于Logistic 模型时基于二项分布族的广义线性模型，因此在R 软件中可通过glm 语句建立回归关系，再用summary 语句得到其详细结果。在得到模型拟合结果后，还可用逻辑回归模型分析见解
回归模型分析
二元logistic逻辑回归分析1
多元线性回归模型的案例分析
完整版逻辑回归模型分析见解
回归分析方法
Logistic回归分析报告结果解读分析
SPSS操作方法：逻辑回归
Logistic回归分析报告结果解读分析
逻辑回归模型分析见解
Logistic回归模型
基于因子分析和Logistic回归分析的
回归分析在数学建模中的应用
对线性回归逻辑回归各种回归的概念学习以与一些误差等具体含义
基于logistic回归分析
回归模型的残差分析
基于R软件的Logistic回归实证分析
相关主题
文本预览