粗糙集理论下的支持向量机新模型研究

经典支持向 量机存在 的主要 缺点是对野 点数据或 噪声 数据过于敏感,这些“异 常”样本的存在,导致 最终获得的分类 面不是真正的最优分类面，从而影响了测试精度。另外，经 典支持向量机没有将数据的等价类信息考虑进去，这是数据 之间一个很重要的关联信息。梁宏霞和本文作者之一闫德勤 在[4]中 提出的“粗 糙支持向量 机”虽然将 等价类信息 引入到 了模型中，但并没有对噪声样本做更细的处理，所以仍然存 在过适应问题。传统的 FSVM 只是单纯的根据数据点和类 中心之间的距离来计算每个数据点属于某个类的程度，并没 有考虑数据点的分布问题，影响了分类的准确度。
小的 样本会被 赋予较小 的等价类系 数，从而 使分类效 果更 好。对比实验表明，新的 RSVM 比传统的 CSVM 和 FSVM 更具抗噪性，因此具有更高的测试精度和更好的分类效果。
1 基本理论
1.1 CSVM 的基本理论 SVM 所 要求的 最优分类 面不但能 使两类正 确分开( 即
要求训练错误率为 0)，而且还要使分类间隔最大。这种理想 的情况在现实生活中往往是不存在的。CSVM 的出现很大程 度上解决了这个问题，它主要是通过引入松弛变量来放松约 束,允许部分样本点被错分。
设给定的训练数据集为{xi, yi}，(i= 1,…,n)相应的类标签 为 yi= {-1,+ 1}，这时最优问题表示为：
min 1 wT w 2
n
Ci
i1
yi ( w xi b) 1 i
s.t.
(1)
i 0, i 1,...,n
其中， i 为松弛变量，C 为惩罚参数。C 越大,对错分 的惩罚程度越大,则分类间隔越小；反之 C 越小，对错分的 惩罚程 度越小，则允许更 多的样本被错分,分类间隔也就 越 大。 1.2 FSVM 基本理论
粗糙集理论为研究不确定知识和数据的表达、学习归纳 提供了一种重要的理论方法，是处理不完全和不精确信息的 一种有效的数学工具，已经广泛应用于模式识别、知识获取、 机器学习、智能控制以及不确定推理等领域。
本文将粗糙集理论与 支持向量机相结合去解 决由于噪 声点引起的过适应问题，提出一种新的粗糙支持向量机模型 (RSVM)。该模型是通过定义一个 粗糙边缘，使更多的数据 信息被考虑进来，不同位置上的数据样本会对分类产生不同 的影响，因此我们为不同位置上的数据样本赋予不同的惩罚 参数。另外我们将等价类信息考虑进去，即通过数据样本之 间的关联信息为每个样本赋予一个相应的等价类系数，相互 关联大的样本会被赋予较大的等价类系数，反之，相互关联粗糙集理论ຫໍສະໝຸດ 描述不完整和不确定数据的一种数学工
具,能够根据不完整的数据来分析数据间隐含的规律。
给定一个论域U x1, x2..., xn 和U上的一个等价关
系(知识)R， A U ，A的下近似和上近似集分别为：
R(A) x | [x] A R
R(A) x | [x] A R
集合的下近似和上近似将论域U分成三个区域：正域 pos R( A) ，负域 negR (A) ，边界域 bnR (A) 。
噪声点过于敏感，从而分类面的选取往往会偏离最优解。因此将粗糙集理论引入到支持向量机中，去解决由于噪声点和野点
数据的存在而出现的过适应问题，同时将数据之间一个非常重要的关联信息 等价类信息考虑进去，从而提出一种新的粗
糙支持向量机(RSVM)模型。对比实验表明，新的 RSVM 比传统的支持向量机(CSVM)和模糊支持向量机(FSVM)尤其是在处
闫 德勤 (1962- )， 男， 山东 菏泽 人， 辽宁 师范 大学 ，教 授， 博士 ，研 究方 向： 模式 识别 、数 据挖 掘、 密码 学和 图像 检索 等， 大连 ，116081 刘 婷婷 (1985- )， 女， 辽宁 锦州 人， 辽宁 师范 大学 ，硕 士研 究生 ，研 究方 向： 数据 挖掘 、图 像检 索等 ，大 连， 116081
理多类数据问题时，其测试精度有明显提高。
关键词：支持向量机;粗糙支持向量机;粗糙集;等价类
中图分类号：TP18
文献标志码：A
0 引言
支持 向量 机(SVM)是 20 世纪 90 年代中期由 Vapnik 等 人根据统计学习理论中结构风险最小化原则提出的。由于它 的结构简单，并且具有全局最优性和较好的泛化能力，因此 受到了广泛的欢迎。支持向量机基于 VC 维和结构风险最小 化理论(SRM)，在很大程度上解决了传统机器学习中的维数 灾难及局部极小等 问题。目前,支持向量机已经被 广泛应用 到文本分类、入侵检测、人脸识别等方面。
为了减少异常数据点对 SVM 训练模型的影响, Lin 和 Huang 等人提出了模糊支持向量机, 其原理是有区别的对待 每一个训练样本 ,根据其贡献不同分配不同的权重,即模糊隶 属度。于是 FSVM 的最优问题表示为：
—— —— —— —— —— — 基金 项目 ：中 国科 学院 自动 化研 究所 复杂 系统 与智 能科 学重 点实 验室 开放 课题 基金 （20070101）；辽 宁省 教育 厅高 等学 校科 学研 究基 金（ 2008344） 作者简介：张 岩(1982-)，女，内蒙古锡林浩特人，辽宁师范大学，硕士研究生，研究方向：数据挖掘，大连，116081
Microcomputer Applications Vol. 27, No.10, 2011
研究与设计
微型电脑应用
2011 年第 27 卷第 10 期
文章编号：100 7-757X(2011)10-0009-04
粗糙集理论下的支持向量机新模型研究
张岩，闫德勤，刘婷婷
摘 要：支持向量机(SVM)是一种重要的分类工具, 其有效性依赖于对数据信息获取的准确性。传统的支持向量机模型对于
·9·
Micr ocomputer Applica tions Vol. 27, No. 10, 2011
研究与设计
微型电脑应用
2011 年第 27 卷第 10期
min 1 wT
w
n
Cm
2
ii i1
s.t. yi (w xi b) 1 i
(2)
i 0, i 1,..., n
其中 mi 为每一个训练样本的模糊隶属度。 1.3 粗糙集基本理论[3]