比。常数项B0是所有变量X等于零时事件发生优势的对数。
Logistic回归的参数估计
• Logistic回归模型的参数估计常用最大似然法,最大似然法 的基本思想是先建立似然函数或对数似然函数,似然函数 或对数似然函数达到极大时参数的取值,即为参数的最大 似然估计值。其步骤为对对数似然函数中的待估参数分别 求一阶偏导数,令其为0得一方程组,然后求解。由于似然 函数的偏导数为非线性函数,参数估计需用非线性方程组 的数值法求解。常用的数值法为Newton-Raphson法。不同 研究的设计方案不同,其似然函数的构造略有差别,故 Logistic回归有非条件Logistic回归与条件Logistic回归两种。
记Logit(P)=ln[p/(1-p)],则上式可表示为:
Logit(P) = Bo+BX
这里X的取值仍是任意的, Logit(P)的值亦 在正负无穷大之间,概率P的数值则必然在 0-1之间。 p/(1-p)为事件的优势, Logit(P)为对数优势,故logistic回归又称对 数优势线性回归
一般地,设某事件D发生(D=1)的概 率P依赖于多个自变量(x1,x2, …,xp),且
y =B0+B1x1+B2x2+…+Bp xp+ (模型)
B0、B1、B2和Bp为待估参数, 为残差。 • 由一组样本数据,可求出等估参数的估计值b0、b1、b2和bp,
,得到如下回归方程:
ŷi =b0+b1x1+b2x2+…+bp xp
• 由此可见,建立回归方程的过程就是对回归模型中的参数 (常数项和偏回归系数)进行估计的过程。
• 逐步引入-剔除法(stepwise selection)