下载文档原格式
七种回归分析方法个个经典什么是回归分析？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。
这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。
例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。
回归分析是建模和分析数据的重要工具。
在这里，我们使用曲线/线来拟合这些数据点，在这种方式下，从曲线或线到数据点的距离差异最小。
我会在接下来的部分详细解释这一点。
我们为什么使用回归分析？如上所述，回归分析估计了两个或多个变量之间的关系。
下面，让我们举一个简单的例子来理解它：比如说，在当前的经济条件下，你要估计一家公司的销售额增长情况。
现在，你有公司最新的数据，这些数据显示出销售额增长大约是经济增长的2.5倍。
那么使用回归分析，我们就可以根据当前和过去的信息来预测未来公司的销售情况。
使用回归分析的好处良多。
具体如下：1.它表明自变量和因变量之间的显著关系；2.它表明多个自变量对一个因变量的影响强度。
回归分析也允许我们去比较那些衡量不同尺度的变量之间的相互影响，如价格变动与促销活动数量之间联系。
这些有利于帮助市场研究人员，数据分析人员以及数据科学家排除并估计出一组最佳的变量，用来构建预测模型。
我们有多少种回归技术？有各种各样的回归技术用于预测。
这些技术主要有三个度量（自变量的个数，因变量的类型以及回归线的形状）。
我们将在下面的部分详细讨论它们。
对于那些有创意的人，如果你觉得有必要使用上面这些参数的一个组合，你甚至可以创造出一个没有被使用过的回归模型。
但在你开始之前，先了解如下最常用的回归方法：1.Linear Regression线性回归它是最为人熟知的建模技术之一。
线性回归通常是人们在学习预测模型时首选的技术之一。
在这种技术中，因变量是连续的，自变量可以是连续的也可以是离散的，回归线的性质是线性的。
线性回归使用最佳的拟合直线（也就是回归线）在因变量（Y）和一个或多个自变量（X）之间建立一种关系。
logistic回归和线性回归1.输出：线性回归输出是连续的、具体的值（如具体房价123万元）回归逻辑回归的输出是0~1之间的概率，但可以把它理解成回答“是”或者“否”（即离散的⼆分类）的问题分类2.假设函数线性回归：θ数量与x的维度相同。
x是向量，表⽰⼀条训练数据逻辑回归：增加了sigmoid函数逻辑斯蒂回归是针对线性可分问题的⼀种易于实现⽽且性能优异的分类模型，是使⽤最为⼴泛的分类模型之⼀。
sigmoid函数来由假设某件事发⽣的概率为p，那么这件事不发⽣的概率为(1-p)，我们称p/(1-p)为这件事情发⽣的⼏率。
取这件事情发⽣⼏率的对数，定义为logit(p)，所以logit(p)为因为logit函数的输⼊取值范围为[0,1](因为p为某件事情发⽣的概率)，所以通过logit函数可以将输⼊区间为[0,1]转换到整个实数范围内的输出,log函数图像如下将对数⼏率记为输⼊特征值的线性表达式如下：其中,p(y=1|x)为，当输⼊为x时，它被分为1类的概率为hθ(x)，也属于1类别的条件概率。
⽽实际上我们需要的是给定⼀个样本的特征输⼊x，⽽输出是⼀个该样本属于某类别的概率。
所以，我们取logit函数的反函数，也被称为logistic函数也就是sigmoid函数ϕ(z)中的z为样本特征与权重的线性组合（即前⾯的ΘT x）。
通过函数图像可以发现sigmoid函数的⼏个特点，当z趋于正⽆穷⼤的时候，ϕ(z)趋近于1，因为当z趋于⽆穷⼤的时候，e^(-z)趋于零，所以分母会趋于1，当z趋于负⽆穷⼤的时候，e^(-z)会趋于正⽆穷⼤，所以ϕ(z)会趋于0。
如在预测天⽓的时候，我们需要预测出明天属于晴天和⾬天的概率，已知根天⽓相关的特征和权重，定义y=1为晴天，y=-1为⾬天，根据天⽓的相关特征和权重可以获得z，然后再通过sigmoid函数可以获取到明天属于晴天的概率ϕ(z)=P(y=1|x)，如果属于晴天的概率为80%，属于⾬天的概率为20%，那么当ϕ(z)>=0.8时，就属于⾬天，⼩于0.8时就属于晴天。
第十一章 多元线性回归与logistic 回归一、教学大纲要求（一）掌握内容1．多元线性回归分析的概念：多元线性回归、偏回归系数、残差。
2．多元线性回归的分析步骤：多元线性回归中偏回归系数及常数项的求法、多元线性回归的应用。
3．多元线性回归分析中的假设检验：建立假设、计算检验统计量、确定P 值下结论。
4．logistic 回归模型结构：模型结构、发病概率比数、比数比。
5．logistic 回归参数估计方法。
6．logistic 回归筛选自变量：似然比检验统计量的计算公式；筛选自变量的方法。
（二）熟悉内容 常用统计软件（SPSS 及SAS ）多元线性回归分析方法：数据准备、操作步骤与结果输出。
（三）了解内容 标准化偏回归系数的解释意义。
二、教学内容精要(一) 多元线性回归分析的概念将直线回归分析方法加以推广，用回归方程定量地刻画一个应变量Y 与多个自变量X 间的线形依存关系，称为多元线形回归（multiple linear regression ），简称多元回归（multiple regression ）基本形式：01122ˆk kY b b X b X b X =+++⋅⋅⋅+ 式中Y ˆ为各自变量取某定值条件下应变量均数的估计值，1X ，2X ，…，k X 为自变量，k 为自变量个数，0b 为回归方程常数项，也称为截距，其意义同直线回归，1b ，2b ，…, k b 称为偏回归系数（partial regression coefficient ），j b 表示在除j X 以外的自变量固定条件下，j X 每改变一个单位后Y 的平均改变量。
(二) 多元线性回归的分析步骤Y ˆ是与一组自变量1X ，2X ，…，kX 相对应的变量Y 的平均估计值。
多元回归方程中的回归系数1b ，2b ，…, k b 可用最小二乘法求得，也就是求出能使估计值Yˆ和实际观察值Y 的残差平方和22)ˆ(∑∑-=Y Y e i 为最小值的一组回归系数1b ，2b ，…, k b 值。
Logistic 回归分析Logistic 回归分析是与线性回归分析方法非常相似的一种多元统计方法。
适用于因变量的取值仅有两个（即二分类变量，一般用1和0表示）的情况，如发病与未发病、阳性与阴性、死亡与生存、治愈与未治愈、暴露与未暴露等，对于这类数据如果采用线性回归方法则效果很不理想，此时用Logistic 回归分析则可以很好的解决问题。
一、Logistic 回归模型设Y 是一个二分类变量，取值只可能为1和0，另外有影响Y 取值的n 个自变量12,,...,n X X X ，记12(1|,,...,)n P P Y X X X ==表示在n 个自变量的作用下Y 取值为1的概率，则Logistic 回归模型为：[]0112211exp (...)n n P X X X ββββ=+-++++它可以化成如下的线性形式：01122ln ...1n n P X X X P ββββ⎛⎫=++++ ⎪-⎝⎭通常用最大似然估计法估计模型中的参数。
二、Logistic 回归模型的检验与变量筛选根据R Square 的值评价模型的拟合效果。
变量筛选的原理与普通的回归分析方法是一样的，不再重复。
三、Logistic 回归的应用（1）可以进行危险因素分析计算结果各关于各变量系数的Wald 统计量和Sig 水平就直接反映了因素i X 对因变量Y 的危险性或重要性的大小。
（2）预测与判别Logistic回归是一个概率模型，可以利用它预测某事件发生的概率。
当然也可以进行判别分析，而且可以给出概率，并且对数据的要求不是很高。
四、SPSS操作方法1．选择菜单2．概率预测值和分类预测结果作为变量保存其它使用默认选项即可。
例：试对临床422名病人的资料进行分析，研究急性肾衰竭患者死亡的危险因素和统计规律。
Logistic回归分析.sav解：在SPSS中采用Logistic回归全变量方式分析得到：（1）模型的拟合优度为0.755。
Logistic 回归与广义线性模型1. 二分类Logistic 回归Logistic 回归经常被应用于线性分类方法中，以下仅以二分类方法中应用到的Logistic 回归为例。
()h x β=g(T x β)=11T x e β-+ 称为logistic 函数，其中g(z)= 11z e-+； 考虑y 的取值在0,1两类中分布，且在给定x ，参数β的情况下，若y=1的概率为()h x β，则p(y ︱x ，β)= 1()(1())y y h x h x ββ--，对应似然函数：L(β)= ∏p(y ︱x ，β)= ()()()()11(()(1())i i n i y i y i h x h x ββ-=-∏，对其取对数，得到： l (β)= ()()()()1ln ()(1)ln(1())n i i i i i yh x y h x ββ=+--∑，合理回归即为恰当的选择β使l (β)达到最大。
令()12i i y y +=，()()i i p h x β=，则有 J (β)= 111ln ln(1)22n i i i i i y y p p =+--+-∑，此处定义损失函数ρ= -J (β)；l (β)对β求偏导得到梯度函数：▽ l (β)= ()()1(())n i i i i yh x x β=-∑ （证明略。
） 2. 广义线性模型广义线性模型可以通过如下指数族概率模型来表达：(,)()exp(()())T p x b x T x a ηηη=-；其中x , η, T 根据应用情况可以是标量或者矢量。
线性回归模型（最小二乘法）和Logistic 模型可以归为广义线性模型的两个特例：对于线性回归模型，2())exp(/2)b x x =-，η= μ，()T x = x ，2()/2a ημ=，代入广义线性模型即可得到2()(,)2x u p x μ-=-；对于二分类Logistic 回归模型，令()b x = 1，ln()1φηφ=-，()T x = x ，()ln(1)ln(1)a e ηηφ=--=+，其中()T g x φβ=，可得到： 1(,)exp((ln())ln(1))exp(ln (1)ln(1))(1)1x x p x x x x φφφφφφφφ-=+-=+--=--小结：Logistic 模型是另一类典型的广义线性模型。
Logistic回归模型和Logit模型都是常用的统计模型，它们在应用和特点上有一些不同。
Logit模型是线性概率模型在定量分析中的一种，但在分析分类变量时会遇到困难。
例如，当因变量是分类变量时，线性回归模型可能无法准确预测结果，因为对自变量的限定性不强，且因变量必须是连续变量。
另一方面，Logit模型的响应变量可以是多元的，也可以是多分类的。
Logistic回归模型属于回归分析，其分析结果为估计出自变量参数。
当因变量是多类的，Logistic回归模型同样适用，计算结果与Logit 模型并无多少差别。
总结来说，Logistic回归模型和Logit模型虽然都是常见的统计模型，但它们在应用和特点上有所区别。
选择使用哪种模型取决于研究目标、数据类型和分析需求等因素。
1 logistic回归logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。
例如，探讨引发疾病的危险因素，并根据危险因素预测疾病发生的概率等。
以胃癌病情分析为例，选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群必定具有不同的体征与生活方式等。
因此因变量就为是否胃癌，值为“是”或“否”，自变量就可以包括很多了，如年龄、性别、饮食习惯、幽门螺杆菌感染等。
自变量既可以是连续的，也可以是分类的。
然后通过logistic回归分析，可以得到自变量的权重，从而可以大致了解到底哪些因素是胃癌的危险因素。
同时根据该权值可以根据危险因素预测一个人患癌症的可能性。
1.1 logistic回归概述logistic回归是一种广义线性回归（generalized linear model），因此与多重线性回归分析有很多相同之处。
它们的模型形式基本上相同，都具有w‘x+b，其中w和b是待求参数，其区别在于他们的因变量不同，多重线性回归直接将w‘x+b 作为因变量，即y =w‘x+b，而logistic回归则通过函数L将w‘x+b对应一个隐状态p，p =L(w‘x+b),然后根据p 与1-p的大小决定因变量的值。
如果L是logistic 函数，就是logistic回归，如果L是多项式函数就是多项式回归。
logistic回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更为常用，也更加容易解释，多类可以使用softmax方法进行处理。
实际中最为常用的就是二分类的logistic回归。
Logistic回归模型的适用条件1 因变量为二分类的分类变量或某事件的发生率，并且是数值型变量。
但是需要注意，重复计数现象指标不适用于Logistic回归。
2 残差和因变量都要服从二项分布。
二项分布对应的是分类变量，所以不是正态分布，进而不是用最小二乘法，而是最大似然法来解决方程估计和检验问题。
3 自变量和Logistic概率是线性关系4 各观测对象间相互独立。
原理：如果直接将线性回归的模型扣到Logistic回归中，会造成方程二边取值区间不同和普遍的非直线关系。
因为Logistic中因变量为二分类变量，某个概率作为方程的因变量估计值取值范围为0-1，但是，方程右边取值范围是无穷大或者无穷小。
所以，才引入Logistic回归。
Logistic回归实质：发生概率除以没有发生概率再取对数。
就是这个不太繁琐的变换改变了取值区间的矛盾和因变量自变量间的曲线关系。
究其原因，是发生和未发生的概率成为了比值，这个比值就是一个缓冲，将取值范围扩大，再进行对数变换，整个因变量改变。
不仅如此，这种变换往往使得因变量和自变量之间呈线性关系，这是根据大量实践而总结。
所以，Logistic回归从根本上解决因变量要不是连续变量怎么办的问题。
还有，Logistic应用广泛的原因是许多现实问题跟它的模型吻合。
例如一件事情是否发生跟其他数值型自变量的关系。
注意：如果自变量为字符型，就需要进行重新编码。
一般如果自变量有三个水平就非常难对付，所以，如果自变量有更多水平就太复杂。
这里只讨论自变量只有三个水平。
非常麻烦，需要再设二个新变量。
共有三个变量，第一个变量编码1为高水平，其他水平为0。
第二个变量编码1为中间水平，0为其他水平。
第三个变量，所有水平都为0。
实在是麻烦，而且不容易理解。
最好不要这样做，也就是，最好自变量都为连续变量。
spss操作：进入Logistic回归主对话框，通用操作不赘述。
发现没有自变量这个说法，只有协变量，其实协变量就是自变量。
旁边的块就是可以设置很多模型。
“方法”栏：这个根据词语理解不容易明白，需要说明。
共有7种方法。
但是都是有规律可寻的。
“向前”和“向后”：向前是事先用一步一步的方法筛选自变量，也就是先设立门槛。
称作“前”。
而向后，是先把所有的自变量都进来，然后再筛选自变量。
也就是先不设置门槛，等进来了再一个一个淘汰。
“LR”和“Wald”,LR指的是极大偏似然估计的似然比统计量概率值，有一点长。
但是其中重要的词语就是似然。
Wald指Wald统计量概率值。
“条件”指条件参数似然比统计量概率值。
“进入”就是所有自变量都进来，不进行任何筛选将所有的关键词组合在一起就是7种方法，分别是“进入”“向前LR”“向前Wald”"向后LR"“向后Wald”“向后条件”“向前条件”下一步：一旦选定协变量，也就是自变量，“分类”按钮就会被激活。
其中，当选择完分类协变量以后，“更改对比”选项组就会被激活。
一共有7种更改对比的方法。
“指示符”和“偏差”，都是选择最后一个和第一个个案作为对比标准，也就是这二种方法能够激活“参考类别”栏。
“指示符”是默认选项。
“偏差”表示分类变量每个水平和总平均值进行对比，总平均值的上下界就是"最后一个"和"第一个"在“参考类别”的设置。
“简单”也能激活“参考类别”设置。
表示对分类变量各个水平和第一个水平或者最后一个水平的均值进行比较。
“差值”对分类变量各个水平都和前面的水平进行作差比较。
第一个水平除外，因为不能作差。
“Helmert”跟“差值”正好相反。
是每一个水平和后面水平进行作差比较。
最后一个水平除外。
仍然是因为不能做差。
“重复”表示对分类变量各个水平进行重复对比。
“多项式”对每一个水平按分类变量顺序进行趋势分析，常用的趋势分析方法有线性，二次式。
1.2 logistic回归主要用途logistic回归一是寻找危险因素正如上面所说的寻找某一疾病的危险因素等。
logistic回归二是预测如果已经建立了logistic回归模型，则可以根据模型，预测在不同的自变量情况下，发生某病或某种情况的概率有多大。
logistic回归三是判别实际上跟预测有些类似，也是根据logistic模型，判断某人属于某病或属于某种情况的概率有多大，也就是看一下这个人有多大的可能性是属于某病。
这是logistic回归最常用的三个用途，实际中的logistic回归用途是极为广泛的，logistic回归几乎已经成了流行病学和医学中最常用的分析方法，因为它与多重线性回归相比有很多的优势，以后会对该方法进行详细的阐述。
实际上有很多其他分类方法，只不过Logistic回归是最成功也是应用最广的。
1.3 logistic回归案例分析关于富士康跳楼曲线的Logistic回归分析。
正常人都能知道这绝对不是偶然，至于这背后有什么？我一开始也不甚清楚。
然后一篇突如其来的实验报告被发还给我，然后看着我亲手绘制的磁滞回线。
有了主意。
首先，我查到了有记载以来，所有富士康员工自杀的日期：列出如下表格：（以07年6月18号，第一例自杀案例为原点，至今（10年5月25日）1072天）在MATLAB中容易做出散点图：可见这是一个指数增长的曲线。
对此我认为自杀和流行病一样，自杀也是一种病，而且是一种可以传染的疾病。
因此其增长曲线与对数增长很接近。
对其做指数函数拟合：General model Exp2:f(x) = a*exp(b*x) + c*exp(d*x)Coefficients (with 95% confidence bounds):a = 7.569e-007 (-6.561e-006, 8.075e-006)b = 0.01529 (0.006473, 0.0241)c = 1.782 (0.5788, 2.984)d = 0.001075 (2.37e-005, 0.002125)Goodness of fit:SSE: 8.846R-square: 0.9684Adjusted R-square: 0.9598RMSE: 0.8968可见相关度0.96也是非常高的。
然而和所有疾病一样，一旦其事件引起了人们的关注，则各方的反馈作用，将阻碍其继续上升。
因此，和很多流行病分析一样，该曲线很有可能呈S型。
对于该曲线的分析，使用Logistic回归。
首先我们假设Logis(B,x)=F(x),之中B为参数数组，则由经验和可能的微分方程关系，回归曲线应该为S（x）=m*Logis（B,x+t）/（n+Logis（B,x+t））格式由于当Logis（B,x）较小时S(x)=Logis（B,x），则可以认为f（x）的参数可以直接引入S（x）作为一种近似，而对于m，n的确定，我以1为间隔，画出m*n=40*20的所有曲线，选出其中最吻合的的一条（m=22 n=20 t=50）：1.4 logistic回归其他信息由此可以见，富士康的跳楼人数最终会稳定在在22人左右。
由此仍然不会超过全国平均跳楼率。
对此曲线的分析，我们借鉴微生物生长曲线的方法，将其分为：缓慢期，对数期，稳定期，衰亡期缓慢期，富士康员工虽然受到很大的工作压力，可是其自身的心理并没有崩溃，因此跳楼这种事件发生频率很少，而且呈线性关系，说明没有跳楼者受到别的跳楼者的影响。
对数期，富士康员工由于受到工厂巨大的工作压力，以及来自社会各方的压力，甚至加上上级的欺压，心理防线渐渐崩溃，无处发泄。
而一旦有想不开者跳楼，则为其提供了一个发泄的模板，这种情况下，很容易有相同经历的员工受到跳楼者的影响，从而一个接一个的跳楼自杀。
目前的富士康正处于此时期。
稳定期，由于社会、媒体各方面的关注以及社会、广大人民对工厂的压力，工厂不得不做出改变，员工的心理压力渐渐得到释放，从而员工跳楼轻生频率会很快下降。
衰亡期，这个……由于资料长期保存，不小心遗失；或者某机关的辟谣；或者所有人的健忘，导致跳楼人数被修正，被减少。
2 线性回归线性回归，是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。
其表达形式为y = w'x+e，e为误差服从均值为0的正态分布。
在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。
这种函数是一个或多个称为回归系数的模型参数的线性组合。
只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。
（这反过来又应当由多个相关的因变量预测的多元线性回归区别，[引文需要]，而不是一个单一的标量变量。
）回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。
如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。
回归分析中有多个自变量：这里有一个原则问题，这些自变量的重要性，究竟谁是最重要，谁是比较重要，谁是不重要。
