基于粗糙集理论的神经网络研究及应用

1 引
言
络中提取语义规则打下了基础.
神经网络是一种广泛应用于数据挖掘和分类的 有效方法 , 但其应用在 很大程度上受到了 " 黑 箱特 性" 的影响 , 因此如何减少神经网络的黑箱特性并从 中提取语义规则便成为人们关心的问题. 在研究该 问题的过程中 , 一些学者将粗糙集理论 [ 1] 同神经网 络结合起来, 并取得了一定成果[ 2, 3] . 例如, 何明等[ 2] 通过利用粗糙集理论对神经网络的输入进行要素提 取来简化神经网络的拓扑结构 , 并在一定程度上补 偿了黑箱特性. 但由于其主要将粗糙集理论用于数 据预处理 , 所以从相关网络中提取语义规则仍较为 困难 . 本文将粗糙集和神经网络结合起来, 提出一种 用于数据挖掘的粗糙集神经网络结构. 通过利用粗 糙集理论来对神经网络的构建 及参数选择进 行指 导, 提高了神经网络的工作性能, 并为今后从神经网
R P
定义 3
设 S = ( U, A , V , f ) 为一信息系统 , 且
有B A, X U, 则 X 关于 B 的上、 下近似集分别 为 BX = { x | [ x ] B X } , BX = { x | [ x ] B X }. 定义 4 在一 个信息 系统中 , 若给 定 BX 和
中 : 论域 U = { x 1 , x 2 , 为属性集; V 为属性 a 信息函数. 定义 2 设P
, x n } 为非空有限对象集 ; A A 的值域 ; f : U R, 且 P A→V为
, P 中所有等价关 [ x] R .
系的交集称为 P 上的一种不分明关系 ( 或称不可分 辨关系 ) , 记作[ x ] IND( P) =
) , 男 , 武汉人 , 博 士生 , 从事 系统优化、 运 筹管理 等研究 ; 李琛 ( 1979 ) , 女 , 武汉人 , 博 士
生 , 从事系统优化及供应链动态智能决策与分析等研究 .
第4期
张 赢等: 基于粗糙集理论的神经网络研究及应用
463
BX , 则 正 区 域 为 POSB ( X ) = BX , 反 区 域 为 NEGB ( X ) = U- BX , 边界区域为 BND B ( X ) = BX - BX . U 且x U, 集合 X 的粗糙隶 | X [ x] R | 属函数定义为 R X (x) = , 其中 : R 是不 | [ x] R | 分明关系 , | | 表示集合中元素的个数 . 2. 2 基于粗糙集的神经网络计算 为了减少神经网络的黑箱特性, 近年来学者们 在 神经 - 模糊 计算领域开展了大量研究. 与传统 的模糊集相比, 粗糙集具有客观准确的特点, 因此许 多学者将模糊集引入神经网络的研究中 . 粗糙集理论给出了论域中某子集的上 下近似 集, 并通过粗糙隶属函数给出了某个体属于各个子 集的可能性. 然而, 粗糙隶属函数的值会因不分明关 系的不同而不同 , 所以并未给出样本点具体属于哪 个区间的精确概率描述. 为解决这一问题, 一种可行 的方法是找出所有不分明关系 , 通过综合各相关信 息来对粗糙隶属函数的值进行修正. 神经网络的工 作原理是通过不断修正网络参 数来对真值进 行逼 近, 所以可利用粗糙集的相关概念来指导神经网络 的构造, 并通过神经网络来对粗糙隶属函数值进行 修正 . 定义 5 设X
Research on neural networks based on rough set theory
ZH A N G Yi ng , L I Chen
1 2
( 1. Depar tment of Industrial and Sy st ems Engineer ing , T he State U niv ersity of N ew Y or k, N ew Y ork 14260, U SA ; 2. Institute of Sy stems Eng ineer ing, H uazho ng U niv ersity of Science and T echnolog y, Wuhan 430074, China. Cor respondent: L I Chen, E - mail: liviachen@ g mail. com) Abstract: A r ough neural netw or k ar chitect ur e is developed based on roug h set theo ry and multilayer neural netw orks to compensate the black - box natur e of neur al netw orks and impr ove the w ork perfo rmances o f A NN s. T he initialized parameter s o f neura l netwo rks are selected, which is dir ected by ro ug h set t heo ry , and the netw or ks are t rained by using a pro bability - based BP alg or ithm, w hich minimizes system er ro rs. Ex per imental r esults show t hat r ough neur al netwo rks have go od per for mances in data mining , and higher preciseness is o bt ained. Key words : Ro ug h sets; N eur al netwo rks; Data mining ; BP algo rit hm
集的神经网络体系结构 . 首先 , 利用 粗糙集理论对神经网络初始化参数的选择和确定进行指导 , 赋予各参数相关的物 理意义 ; 然后 , 以系统输出误差最小化为目标 对粗糙神经网络进行训练 , 使其满足性能要求 . 实验结果表明 , 粗糙神经 网络能较好地完成数据挖 掘任务 , 并能获得较高的分类精度 . 关键词 : 粗糙集 ; 神经网络 ; 数据挖掘 ; BP 算法 中图分类号 : T P18 文献标识码 : A
收稿日期 : 2006 - 01 - 06; 修回日期 : 2006 - 03 - 21. 基金项目 : 国家自然科学基金项目 ( 60574025) . 作者简介 : 张 赢 ( 1981
2
2. 1
基于粗糙集的多层神经网络 RMLN
粗糙集的基本概念 粗糙集理论中的基本概念如下 : 定义 1 S = (U, A , V , f ) 为 一信息系 统, 其
第 22 卷 第 4 期
V ol. 22 No . 4 文章编号 : 1001 - 0920( 2007) 04 - 0462 - 03
控
制
与
决
策
2007 年 4 月
A pr . 2007
Contr ol and
Deci sion
基于粗糙集理论的神经网络研究及应用
张
摘
赢 ,李
1
琛
2
( 1. 纽约州立大学布法罗分校 工 业与系统工程系 , 纽约 14260; 2. 华中科技大学 系统工程研究所 , 武汉 430074) 要 : 为了补偿神经网络的黑箱特性并提高其工作性能 , 将粗糙 集理论同 神经网 络结合 起来 , 提出一 种基于 粗糙
n
| [ x ] Bj | [ x ] Bj
Xk | ; 取 y kl = Xk |
B L x X
k
j
( x ) , 其中 L 是
论域中第 l 类个体的集合,
B j 构成了一个与隐层
2 中节点 k 相关的不分明关系 ; 取 SSE new = 0, SSE old 为一较大值 , t olerance 为一较小值. Step2 网络正向计算 . 根据下面公式计算网络中各层节点的数值: 隐层 1
e
j= 1
数据集 gl as s w ine gl as s w ine
l = 1, 2, , q. ( 3) 其中 o l 的表达式是一种基于概率的转换函数, 即将 节点 l 的值转化为个体属于某种类型的概率. 对于
vl
类别数目 6 3
, 2q;
gl as s w ine
输出层
2q
vl =
k= 1
y kl u k , o l =
q
,
v
j
表2
方法 C5. 0 RM LN
C5. 0 与粗糙神经网络的性能指标比较
平均精确 度/% 95. 4 98. 9 96. 5 98. 2 平均用户 精确度 / % 96. 1 99. 0 97. 1 98. 4 K appa/ % 93. 1 98. 3 93. 9 97. 5
vj =
i= 1
w ij u i , u j = j = 1 , 2,
1 , 1 + e- v j ( 1)
, p;
隐层 2
464
p
控 vk =
j= 1
制
与
决
策
表1
数据集
第 22 卷
数据集基本信息
属性数目 9 13 样本数目 214 178
x j k u j , uk = k = 1, 2,
1 , 1 + e- vk ( 2) e
n
划分为 k i 个区间 , 则该层节点数目为
i= 1
k i . 对于每
一维输入数据, 按其所在区间对其进行二进制编码 , 并将该编码作为该维节点的输入. 第 2 层 ( 隐层 1) : 该层节点对应于近似空间中 的属性集 A . 在粗糙集理论中, 所有数据都是基于属 性集合来进行分类的, 因此有必要在网络中将输入
图 1 所示 .
Step1 网络初始化. 随机设置 w ij = 0 或 1, 根据 w ij 的取值决定隐 层 1 中节点 j 所对应的属性集 B j , 设隐层 2 中节点 k 对应某一论域子集 X k ( 正区域或边界区域 ) , 取 x j k