回归模型和分类模型

ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ　ａｎｄＡｐｐｌｉｃａｔｉｏｎｓ￣＇１＂算机工程与应用　２０１３，４９（９）４１　

权核Ｌｏｇｉｓｔｉｃ回归模型的分类和特征选择算法　

池光辉　，刘建伟　，李卫民　，罗雄麟　

ＣＨＩ　Ｇｕａｎｇｈｕｉ　，ＬＩＵ　Ｊｉａｎｗｅｉ　，ＬＩ　Ｗｅｉｍｉｎ　，ＬＵＯ　Ｘｉｏｎｇｌｉｎ　

１．中国石油大学（北京）自动化研究所，北京１０２２４９　

２．上海大学计算机工程与科学学院，上海２０００７２　

１．Ｒｅｓｅａｒｃｈ　Ｉｎｓｔｉｔｕｔｅ　ｏｆＡｕｔｏｍａｔｉｏｎ，Ｃｈｉｎａ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆＰｅｔｒｏｌｅｕｍ，Ｂｅｉｊｉｎｇ　１０２２４９，Ｃｈｉｎａ　２．Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ｓｃｉｅｎｃｅ，Ｓｈａｎｇｈａｉ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ　２０００７２，Ｃｈｉｎａ　

ＣＨＩ　Ｇｕａｎｇｈｕｉ，ＬＩＵ　Ｊｉａｎｗｅｉ，ＬＩ　Ｗｅｉｍｉｎ，ｅｔ　ａ１．Ｃｌａｓｓｉｆｉｅｒ　ａｎｄ　ｆｅａｔｕｒｅ　ｓｅｌｅｃｔｉｏｎ　ａｌｇｏｒｉｔｈｍ　ｂｙ　ｋｅｒｎｅｌ—ｗｅｉｇｈｔｅｄ　Ｌｏｇｉｓｔｉｃ　ｒｅｇｒｅｓｓｉｏｎ　ｍｏｄｅ１．Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ，２０１３，４９（９）：４１・４４．　

Ａｂｓｔｒａｃｔ：Ｕｎｄｅｒ　ｓｕｐｅｒｖｉｓｅｄ　ｌｅａｒｎｉｎｇ　ｓｅｔｔｉｎｇｓ，ｐｒｏｂｌｅｍｓ　ｔｈａｔ　ｔｈｅ　ｄｉｍｅｎｓｉｏｎ　ｏｆ　ｔｈｅ　ｓａｍｐｌｅｓ　ｉｓ　ｔｙｐｉｃａｌｌｙ　ｌａｒｇｅｒ　ｔｈａｎ　ｔｈｅ　ｎｕｍｂｅｒ　ｏｆ　

ｓａｍｐｌｅｓ　ａｒｅ　ｏｆｔｅｎ　ｅｎｃｏｕｎｔｅｒｅｄ，ｉ．ｅ．ｍａｎｙ　ｉｒｒｅｌｅｖａｎｔ　ｆｅａｔｕｒｅｓ　ｅｘｉｓｔ．Ｉｎ　ｓｕｃｈ　ｃａｓｅ，ｔｈｅ　ａｐｐｒｏａｃｈｅｓ　ｔｈａｔ　ｓｉｍｕｌｔａｎｅｏｕｓｌｙ　ａｃｈｉｅｖｅ　

线性回归模型

1.回归分析

回归分析研究的主要对象是客观事物变量之间的统计关系，它是建立在对客观事物进行大量试验和观察的基础上，用来寻找隐藏在那些看上去是不确定的现象中的统计规律性的方法。回归分析方法是通过建立模型研究变量间相互关系的密切程度、结构状态及进行模型预测的一种有效工具。

2.回归模型的一般形式

如果变量x_1,x_2,…,x_p与随机变量y之间存在着相关关系，通常就意味着每当x_1,x_2,…,x_p取定值后，y便有相应的概率分布与之对应。随机变量y与相关变量x_1,x_2,…,x_p之间的概率模型为

y = f(x_1, x_2,…,x_p) + ε （1）

f(x_1, x_2,…,x_p)为变量x_1,x_2,…,x_p的确定性关系，ε为随机误差项。由于客观经济现象是错综复杂的，一种经济现象很难用有限个因素来准确说明，随机误差项可以概括表示由于人们的认识以及其他客观原因的局限而没有考虑的种种偶然因素。

当概率模型（1）式中回归函数为线性函数时，即有

y = beta_0 + beta_1*x_1 + beta_2*x_2 + …+ beta_p*x_p +ε (2)

其中，beta_0，…,beta_p为未知参数，常称它们为回归系数。当变量x个数为1时，为简单线性回归模型，当变量x个数大于1时，为多元线性回归模型。

3.回归建模的过程

在实际问题的回归分析中，模型的建立和分析有几个重要的阶段，以经济模型的建立为例：

否

是

具体社会经济问题

设置指标变量

收集整理数据

构造理论模型

估计模型参数

模型

检验

模型运用

经济因素分析 经济变量控制 经济决策预测 修改

（1）根据研究的目的设置指标变量

回归分析模型主要是揭示事物间相关变量的数量关系。首先要根据所研究问题的目的设置因变量y，然后再选取与y有关的一些变量作为自变量。通常情况下，我们希望因变量与自变量之间具有因果关系。尤其是在研究某种经济活动或经济现象时，必须根据具体的经济现象的研究目的，利用经济学理论，从定性角度来确定某种经济问题中各因素之间的因果关系。

1 实验三 多元线性回归模型和非线性回归模型

【实验目的】

掌握建立多元线性回归模型和非线性回归模型，以及比较、筛选模型的方法。

【实验内容】

建立我国国有独立核算工业企业生产函数。

根据生产函数理论，生产函数的基本形式为：(,,,)YftLK。其中，L、K分别为生产过程中投入的劳动与资金，时间变量t反映技术进步的影响。表3.1列出了我国1978-1994年期间国有独立核算工业企业的有关统计资料；其中产出Y为工业总产值（可比价），L、K分别为年末职工人数和固定资产净值（可比价）。

表3.1 我国国有独立核算工业企业统计资料

年份 时间t 工业总产值

Y（亿元） 职工人数

L（万人） 固定资产

K（亿元）

1978 1 3289.18 3139 2225.70

1979 2 3581.26 3208 2376.34

1980 3 3782.17 3334 2522.81

1981 4 3877.86 3488 2700.90

1982 5 4151.25 3582 2902.19

1983 6 4541.05 3632 3141.76

1984 7 4946.11 3669 3350.95

1985 8 5586.14 3815 3835.79

1986 9 5931.36 3955 4302.25

1987 10 6601.60 4086 4786.05

1988 11 7434.06 4229 5251.90

1989 12 7721.01 4273 5808.71

1990 13 7949.55 4364 6365.79

1991 14 8634.80 4472 7071.35

1992 15 9705.52 4521 7757.25

14-10-13

1//main_v5/ria/print.html?blog_id=blog_44befaf601016m9j王江源SPSS学习笔记之——生存分析的Cox回归模型（比例风险模型）王江源 /u/1153366774 2012-09-22 19:05:29一、生存分析基本概念1、事件（Event）指研究中规定的生存研究的终点，在研究开始之前就已经制定好。根据研究性质的不同，事件可以是患者的死亡、疾病的复发、仪器的故障，也可以是下岗工人的再就业等等。2、生存时间(Survival time)指从某一起点到事件发生所经过的时间。生存是一个广义的概念，不仅仅指医学中的存活，也可以是机器出故障前的正常运行时间，或者下岗工人再就业前的待业时间等等。有的时候甚至不是通用意义上的时间，比如汽车在出故障前的行驶里程，也可以作为生存时间来考虑。3、删失（Sensoring）指由于所关心的事件没有被观测到或者无法观测到，以至于生存时间无法记录的情况。常由两种情况导致：（1）失访；（2）在研究终止时，所关心的事件还未发生。4、生存函数（Survival distribution function）又叫累积生存率，表达式为S（t）=P(T>t),其中T为生存时间，该函数的意义是生存时间大于时间点t的概率。t=0时S(t)=1，随着t的增加S(t)递减（严格的说是不增），1-S(t)为累积分布函数，表示生存时间T不超过t的概率。二、生存分析的方法1、生存分析的主要目的是估计生存函数，常用的方法有Kaplan-Meier法和寿命表法。对于分组数据，在不考虑其他混杂因素的情况下，可以用这两种方法对生存函数进行组间比较。2、如果考虑其他影响生存时间分布的因素，可以使用Cox回归模型（也叫比例风险模型），利用数学模型拟合生存分布与影响因子之间的关系，评价影响因子对生存函数分布的影响程度。这里的前体是影响因素的作用不随时间改变，如果不满足这个条件，则应使用含有时间依存协变量的Cox回归模型。下面用一个例子来说明SPSS中Cox回归模型的操作方法。例题要研究胰腺癌术中放疗对患者生存时间的影响，收集了下面所示的数据：14-10-13