Logistic回归算法研究与实现
- 格式：pdf
- 大小：6.50 MB
- 文档页数：6
文章编号=
1009 -2552 (
2018)
05 -0133 -06 DOI
：10. 13274/j
. cnki
. hdzj
. 2018. 05. 030
Logistic回归算法研究与实现
滕文
(陕西国际商贸学院信息与工程学院，西安712000)
摘要：针对目前标记噪声普遍在数据集中出现的这一现象，研究了一种新的模型，称为鲁棒
逻辑回归模型。该模型以传统的贝叶斯逻辑回归模型为基础，在分类器中加入标记转换概率来
应对可能出现的标记噪声。同时在模型中运用了正则化的方法，使分类器在拟合数据与变量选
择间保持平衡。实验中分别用到了合成数据集和真实的数据集，从而对鲁棒逻辑回归模型在分
类问题中具有的预测能力和变量选择能力以及对标记噪声的鲁棒性进行验证，再与传统的模型
进行比较。结果表明在面对含有标记噪声的数据时，由鲁棒逻辑回归模型训练产生的分类器有
更低的误分类率，在变量选择方面也更准确。
关键词
：Logistic回归；标记噪声；稀疏性；鲁棒性
中图分类号：
TP302.7 文献标识码
：A
Research
and
implementation
of
Logistic
regression
classifier
algorithmic
TENG Wen
(School of Computer Science
，Shaanxi Institute of International Trade and Commerce
，Xi
’ an
712000,China
)
Abstract
:
Labelling
errors
are
common
in
the
microarray
data
sets.
A
new
model
is
studied
on.
It
is
called
robust
logistic
regression
model.
In
the
new
model，
which
is
constructed
on
the
basis
ol
the
Bayesian
logistic
regression
model，
added
label-lilpping
probability
in
the
classifier
to
cope
with
the
labelling
errors.
It
regularizes
in
the
objective
function，
balances
the
classifier
between
the
over-fitting
problem
and
the
variable
selection
capability .
The
experiments
use
synthetic
data
sets
and
real
data
sets，
testing
predictive
ability，variable
selection
ability
and
robustness
against
labelling
errors
ol
robust
logistic
regression
model，compared
with
the
Bayesian
logistic
regression
model.
It
turns
out
that
when
labelling
errors
are
in
data
sets，
the
classifier
trained
by
the
robust
logistic
regression
model
has
lower
misclassication
error
and
a
more
accurate
estimation
ol
the
parameter.
Key words
:
logistic
regression；
labelling
errors；
sparsity;
robustness2018年第5满 y
他息疼^
0引百
随着社会的高速发展，生活节奏的加快,长期处
于压力之下的人们就会养成许多不良的习惯，这可
能会让人们得上慢性疾病。目前随着我国老龄化、
城镇化、工业化的加快,慢性病患病和死亡率呈现加
快增长的趋势。慢性病已经成为影响我国居民生活
水平提高，阻碍经济社会发展的重大公共卫生问题
和社会问题。因此有必要加强对慢性病的预防与研
究工作,这就要用到统计分析方法。
本文采用的回归分析法是在大批的观察数据的基础上,使用数理统计方法成立因变量与自变量之
间相关的回归关系函数表达式，其中的因变量是分
类变量。通过
Logistic回归模型来解决问题。
1模型与算法
1.1带标记噪声的鲁棒逻辑回归模型
要对含有噪声的训练集进行分类器的训练，需
用到“鲁棒”这个词，以此将本文用到的模型与传统
收稿日期
：2017 -08 -28
作者简介：滕文（
1982 -),男，硕士研究生，研究方向为计算机网
络、大数据。
—133
—的逻辑回归模型区分开。鲁棒在这里是指分类器在
面对噪声时尽可能不受其影响，维持它的基本特性,
能做出正确的判断。
1.2模型中的参数估计
经典的逻辑回归分类器是有明显的缺点，一个
是过拟合问题，另一个是变量选择问题。过拟合是
指逻辑回归分类器在对训练集的拟合往往能表现出
较高的精度，而在训练集以外的数据集上的精度较
差。如今过拟合问题不仅在逻辑回归分类器中存
在，其他的数据分析模型也会有这种问题。变量选
择问题是指分类器经过训练后得到的模型参数，这
些参数大部分不为0。这些非零参数和设计的模型
都有关系，也可以说成不具有稀疏性。而实际上，与
模型有关的参数的数目不会太多，这样训练后大部
分参数为0，这样不仅有利于问题的解释，还能简化
计算。为了解决这两个问题,可以利用正则化这一
方法。
在流行病研究中，基因数据往往是高维的，含有
很多特征，多达上千个。但是与模型有关的特征数
目却很少，往往只有几十个。这里可以用正则化来
解决，让模型中的参数变的稀疏。因此对前面的目
标似然函数可以加人11正则化公式,得到如下新的
目标函数：
N~
m
max^
logp(
I ，
w) - ^
I
wt\ (1)
其中
，m是特征的数目
，a,是正则化参数
，a,的作用
是让模型在具有良好的拟合性与有较少的参数数目
间平衡。公式（1)中的目标函数不可导，为了对其
求导,可以采用一个很简单，让目标函数曲线变的平
滑的方法。就是定义
I
w,
I « (
w? +
Y)1/2，同时令
Y _ 10-8。接下来就要求其中的正则化参数
a,，—
般可以采用交叉验证法。这样就会用到验证集，但
是不能保证验证集的正确性，而且
a,的数量较多，
这样导致误差较大。所以可以改写
L1正则化，目标
函数改写成：
N~
maxI
l〇
g(
L 1 \，加
)-A ||
w || (2)
W
n _ 1
其中
，A是正则化参数，其作用与上面用到的
a,相
同。正则项定义为：
m
II
w
II _ 2
wd ⑶
接下来对正则化参数
A进行定义，当然这里不
能用交叉验证法,不仅耗时较多，而且不能保证验证
集是否标记正确。于是采用贝叶斯正则化方法，这
种方法不包含交叉验证，而且对正则化参数的计算
—134 —比较简单。
A _
n
n(4)
2 I
w,
I
式中
，n —定不会大于数据集的维数
m， 因为
n 代表
非零参数的个数,也就是
w, # 0。
接下来就要估计模型的参数
w和标记转换概
率矩阵。以前有人用到过一个简单但是很有效的算
法,这个算法使用
Gauss-Seidel迭代法以及坐标下
降法，来优化稀疏逻辑回归模型产生的非平滑凸函
数。但这里得鲁棒逻辑回归模型产生的目标函数是
非凸的，所以要对这个算法进行一些修改。
首先对目标函数求导，得到_
dZ；(
w)，需要
dw,
注意这里参数
w是
m + 1维的，比训练集多一维，
w〇
就是多出来的这一项，这是基本项，不需要对其正
则化。
如果对参数进行优化，那么一次只能对一个参
数优化，如何找到这个参数是个问题，这里就要用到
最大违反值这个概念。最大违反值在这里指对目标
函数影响最大的参数
w,，首先对其优化。相应优化
参数的违反值是这样定义的:①如果,_ 0，其违反
值为
I八
I ;②如果
w, > 0 (, > 0)，违反值为
I
A -
八
I ;③如果
w, < 0(, > 0)，违反值为
I
A +
F,
I ;
④如果
w, _ 0(, > 0)，违反值为
max(
F, -
A，-
A -
F, ,0)。在找到与最大违反值对应的参数
w,后，就要
对其优化。如果目标函数是凸函数,就能用梯度的
方法来优化参数使目标函数取极值。但本文研究模
型的目标函数是非凸的,梯度方法在这里是无效的。
于是可以用搜索的方法,分别在（-
lim，0)和（0,
lim)两个范围内搜索,找到能使目标函数取最大值
得参数
w,。
1.3高维小样本对模型产生的影响
本文用到模型中的伽马表的估计是从给定的训
练集中估计而得到的，这里就希望有足够多的训练
样本提供给模型，这样能使鲁棒逻辑回归的优势发
挥出来。但实际上慢性病研究中提供的与某个疾病
有关的样本数量很少，难以满足模型的要求。这种
情况下就要根据样本可能的误标记比例来预设伽马
表，对误标记比例的估计也要根据以往实验中样本
的表现来给出。只有这样，才能对模型中的目标函
数进行优化。在优化过程中既可以保持伽马表不
变，也可以让伽马表随着优化的过程而更新。由于
本文中模型用到的数据集样本数目较少，只有几十
个,而且维度较高，多达千维。两者相差过大，
因此
