㊀第53卷第1期郑州大学学报(理学版)Vol.53No.1㊀2021年3月J.Zhengzhou Univ.(Nat.Sci.Ed.)Mar.2021收稿日期:2020-07-08基金项目:国家自然科学基金项目(61763031)㊂作者简介:徐健锋(1973 ),男,教授,主要从事粒计算㊁粗糙集及机器学习研究,E-mail:jiangfeng _x @;通信作者:薛国泽(1994 ),男,硕士研究生,主要从事机器学习研究,E-mail:xueguoze@㊂面向概念漂移集成分类的三支决策优化方法徐健锋1,2,3,㊀辛㊀朋1,㊀薛国泽2,㊀杨迎方2(1.南昌大学信息工程学院㊀江西南昌330031;2.南昌大学软件学院㊀江西南昌330047;3.同济大学电子与信息工程学院㊀上海201804)摘要:提出一种面向概念漂移集成分类的基分类器三支过滤方法㊂首先基于信息熵理论计算出基分类器的不确定性值,并融合其准确性作为基分类器的质量度量,然后通过预设阈值α㊁β对基分类器进行三支过滤㊂其过滤策略为:删除质量权值小于等于阈值β的基分类器;保留质量权值大于等于阈值α的基分类器;对于质量权值大于β小于α的基分类器,将延迟后进一步决策㊂添加对应数量的基分类器,重新计算基分类器的质量权值,再次实施三支过滤直至没有基分类器被删除或达到指定迭代次数㊂在真实数据集和人工数据集上与几种经典算法进行对比实验,结果表明,所提出的算法能够有效地提升分类效果㊂关键词:三支决策;集成分类;概念漂移;不确定性评估;信息熵中图分类号:TP311㊀㊀㊀㊀㊀文献标志码:A㊀㊀㊀㊀㊀文章编号:1671-6841(2021)01-0022-07DOI :10.13705/j.issn.1671-6841.20202160㊀引言随着互联网的快速发展,许多行业领域每时每刻都会产生海量的数据,它们通常以数据流[1]的形式产生和到达㊂随着数据流的高速产生,其数据分布会发生改变,将这种数据分布随着时间推移而发生变化的现象称为 概念漂移 [2]㊂如何在快速变化的数据流中有效地处理概念漂移问题,已经成为许多国内外学者研究的重要课题[3-4]㊂目前有关抵抗概念漂移技术的研究主要集中在三个方向:自适应基学习器[5]㊁单分类器设计模式[6]和多分类器集成技术[7-10]㊂自适应基学习器通过对传统机器学习算法加以改进,使其在复杂多变的数据流环境中具有较好的适应性㊂单分类器设计模式通常采用的方法有滑动窗口技术和样本加权,以此对数据集进行重新构造以获得良好的实时表现㊂多分类器集成技术被认为是处理概念漂移问题更为有效的方法,其主要思想是在不同时期的数据块上构造多个基分类器,并利用相应结合策略产生最终的分类结果㊂在多分类器集成过程中,基分类器应是准确且多样的[11-12],多样性通常体现在成员间的差异性方面㊂基分类器差异性是指不同的基分类器对相同的实例进行分类而得到不同的类别,差异性可以通过不确定性进行度量㊂提升多样性的目的在于当少数分类器分类错误时,其他分类器也会在集成整合过程中纠正这个问题,从而使集成模型在复杂的数据环境中可以保持稳定的分类性能㊂尤其在不断发生概念变化的数据流环境中,考虑基分类器间的多样性可避免陷入局部最优解,提升集成模型的准确性和泛化性㊂而当前分类集成方法研究[13-14]主要把准确性作为基分类器唯一的质量衡量依据,对基分类器多样性问题却鲜有研究㊂如果能够设计出一种在准确性前提下考虑基分类器多样性指标的质量评价方法,并根据该评价方法对基分类器的选择制定合理的优化策略,将会提升集成模型的分类效果㊂为此,本文提出一种基于信息熵的基分类器不确定性度量方法,作为基分类器的多样性度量指标;将其与经典的准确性度量方法进行融合,作为基分类器的质量评价策略;结合三支决策思想[15],提出了一种改进的基于质量度量的基分类器三支过滤算法㊂㊀第1期徐健锋,等:面向概念漂移集成分类的三支决策优化方法1㊀相关技术研究1.1㊀基于数据块的集成分类模型集成技术被认为是处理概念漂移问题较为有效的方法,其中最常用的是把数据流分块[16]㊂为便于对算法进行描述,对问题进行符号化定义㊂数据流D ={d 1,d 2, ,d t , },其中d t =(x t ,y t )表示t 时刻到达的一个实例㊂按照实例的到达顺序,将实例划分为大小相同的数据块S ={S 1,S 2, ,S i , ,S n },其中S n 为最新数据块㊂C i 表示基于数据块S i 训练的基分类器,采用不同的评价方式给C i 赋相应的权重值并对基分类器进行筛选,然后采用加权投票等方式组合成集成分类器Π,最后对未知实例d t 进行预测㊂1.2㊀三支决策基本理论三支决策是在粗糙集基础上提出的一种求解不确定问题的理论,它在二支决策基础上增加了延迟决策,当信息不足以支撑接受,也不足以支撑拒绝,采用延迟决策避免二支决策所引起的不必要代价㊂其初始目的是为粗糙集理论中的三个分类区域,即正域㊁负域和边界域,提供合理的决策语义解释㊂三支决策通过引入一对阈值(α,β),0ɤβ<αɤ1,在评价函数λ(x )下将集合Π中的元素x 划分入三个不相交的区域:接受域POS (α,β)(Π)㊁延迟域BND (α,β)(Π)和拒绝域NEG (α,β)(Π)㊂当λ(x )ȡα时,元素x 被划分入接受域,记作x 属于POS (α,β)(Π);当β<λ(x )<α时,元素x 被划分入延迟域,记作x 属于BND (α,β)(Π);当λ(x )ɤβ时,元素x 被划分入拒绝域,记作x 属于NEG (α,β)(Π)㊂2㊀基分类器质量权重设定2.1㊀基分类器准确性度量方法当系统获取到最新数据块S n ,计算集合Π中的基分类器在S n 上的准确性㊂基分类器C i 在数据块S n 上的均方误差为MSE i =ð(x ,y )ɪS n(1-f i y (x ))2/S n ,(1)式中:f i y (x )表示基分类器C i 将实例x 分类到标签y 的概率㊂利用MSE r 表示在数据块S n 上进行随机预测的均方误差,用来作为当前数据类分布的参考,其计算公式为MSE r =ðyp (y )(1-p (y ))2,(2)式中:p (y )表示在数据块S n 中各个标签所占比例㊂对于集合Π中的基分类器,其准确性度量权重Acc _ωi 的计算过程有如下定义㊂定义1㊀对于任意基分类器C i ɪΠ,其准确性度量权重计算公式为Acc _ωi =1/(MSE i +MSE r +ε),(3)式中:ε是一个无穷小的正常数㊂在最新数据块S n 上建立的基分类器C n ,其准确性度量权重计算公式为Acc _ωn =1/(MSE r +ε)㊂(4)㊀㊀由于C n 是基于最新数据块建立的基分类器,它能够代表当前以及未来一段时间数据类分布信息,因此被赋予了最高的准确性度量权重㊂2.2㊀基分类器不确定性度量方法在信息论中,信息熵的提出是用来度量随机变量的不确定程度㊂在得到基分类器的不确定性度量之前,基于信息熵理论计算出基分类器之间的不确定性值㊂对于集合Π中任意两个基分类器C i 和C j ,它们在最新数据块S n 上的分类事件有四种组合结果:①N 11表示基分类器C i 和C j 对其正确分类的样例数目;②N 00表示基分类器C i 和C j 对其错误分类的样例数目;③N 10表示C i 对其正确分类且C j 对其错误分类的样例数目;④N 01表示C i 对其错误分类且C j 对其正确分类的样例数目㊂通过概率的基本运算可以得到上述四种组合结果出现的概率p 11(C i ,C j )㊁p 00(C i ,C j )㊁p 10(C i ,C j )及p 01(C i ,C j )㊂根据上述信息,可计算两个基分类器C i 和C j 之间的不确定性值,有如下定义㊂32郑州大学学报(理学版)第53卷定义2㊀对于任意两个基分类器C i ,C j ɪΠ,它们的不确定性度量H (C i ,C j )的计算公式为H (C i ,C j )=-ðk ɪ{11,10,01,00}p k (C i ,C j )log 2p k (C i ,C j ),(5)式中:p k(C i ,C j )表示C i 和C j 对最新数据块S n 分类情况的概率㊂但是,得到C i 和C j 之间的不确定性度量值仍不足以衡量某一个基分类器的不确定性度量,C i 的不确定性度量是相对于集合Π而言的㊂因此,在定义2的基础上,计算基分类器C i 与集合Π中其他基分类器的不确定性值后再取平均值,作为其不确定性度量值,有如下定义㊂定义3㊀对于任意基分类器C i ɪΠ,其相对于集合Π的平均值H (C i )为基分类器C i 的不确定性度量指标,计算公式为H (C i )=ðj ɪ(0,i )ɣ(i ,L ]H (C i ,C j )/(L -1),(6)式中:L 表示集合Π中包含的基分类器数量㊂通过上述过程得到所有基分类器相对于集合Π的不确定性度量H (C i ),也是每个基分类器的不确定性度量㊂同时也要为最新数据块S n 上建立的基分类器C n 分配相应的不确定性度量值,计算公式为H (C n )=H (max),(7)式中:H (max)为定义3中计算得到的平均值中的最大值㊂由于在最新数据块上建立的基分类器C n 在集成过程中有较好的推广性,因此将不确定性度量的最大值赋给C n ㊂为了能直观展示上述计算过程,下面给出一个实例㊂假设在一个数据流实例S 中,S ={S 1,S 2,S 3,S 4},S 4为实例中的最新数据块㊂C 1㊁C 2和C 3分别是在数据块S 1㊁S 2和S 3上建立的基分类器,它们在最新数据块S 4上的分类情况如表1所示㊂其中第2列表示的是t i 时刻到达的一个实例的属性,第3列表示的是每个实例属性所对应的标签值㊂根据基分类器对分类组合情况,整理表1中基分类器的分类结果,统计所有基分类器对分类组合结果的实例数目,可以得到表2㊂根据表2中实例数目的统计结果,通过计算得到各个基分类器对组合结果的概率分布情况为(C 1,C 2):p 11(C 1,C 2)=4/8;p 10(C 1,C 2)=1/8;p 01(C 1,C 2)=2/8;p 00(C 1,C 2)=1/8;(C 1,C 3):p 11(C 1,C 3)=2/8;p 10(C 1,C 3)=3/8;p 01(C 1,C 3)=1/8;p 00(C 1,C 3)=2/8;(C 2,C 3):p 11(C 2,C 3)=1/8;p 10(C 2,C 3)=5/8;p 01(C 2,C 3)=2/8;p 00(C 2,C 3)=0㊂表1㊀各基分类器的分类情况Table 1㊀Classification of each base classifiert 时刻S 4属性S 4标签值C 1预测值C 2预测值C 3预测值t 1A 1110t 2B 1101t 3C 1010t 4D 0110t 5C 1010t 6A 1110t 7E 1110t 8F表2㊀各基分类器对的分类情况Table 2㊀Classification of a pair of base classifiersN (C 1,C 2)(C 1,C 3)(C 2,C 3)N 11421N 10135N 01212N 0012㊀㊀由以上过程得到了所有基分类器对的概率分布信息,根据定义2中的不确定性度量公式计算弱分类对(C i ,C j )的不确定性值H (C i ,C j ),H (C 1,C 2)=-(48log 248+18log 218+28log 228+18log 218)=-(-0.5-0.375-0.5-0.375)=1.750;H (C 1,C 3)=-(28log 228+38log 238+18log 218+28log 228)=-(-0.5-0.531-0.375-0.5)=1.906;42㊀第1期徐健锋,等:面向概念漂移集成分类的三支决策优化方法H (C 2,C 3)=-(18log 218+58log 258+28log 228+0)=-(-0.375-0.424-0.5)=1.299㊂㊀㊀之后根据定义3的公式计算每个基分类器相对于所有基分类器的不确定性度量值,可得H (C 1)=(1.750+1.906)/2=1.828,H (C 2)=(1.750+1.299)/2=1.524,H (C 3)=(1.906+1.299)/2=1.602㊂由式(7),设置H (C 4)=H (max)=1.828㊂至此,通过计算得到了各个基分类器相对于集合的不确定性度量指标㊂此值越大,代表不确定性越大㊂2.3㊀基分类器质量评估为便于两项度量指标进行后续的权重融合过程,需要消除指标之间的量纲影响,即对定义1中的Acc _ωi和定义3中的H (C i )进行数据标准化处理㊂对于准确性度量值Acc _ωi ,其标准化过程为Acc _ω∗i=(Acc _ωi -Acc _ω(min))/(Acc _ω(max)-Acc _ω(min)),(8)式中:Acc _ω(max)和Acc _ω(min)分别为定义1准确性度量指标计算中得到的最大值和最小值㊂同理,基分类器C i 相对于集合Π的不确定性度量值H (C i )的标准化过程为H ∗(C i )=(H (C i )-H (min))/(H (max)-H (min)),(9)式中:H (max)和H (min)分别为定义3计算得到的平均值中的最大值和最小值㊂经过上述计算已经得到集合Π中任意基分类器C i 的准确性度量值Acc _ω∗i 和不确定性度量值H ∗(C i ),将两项度量指标进行权重融合得到用于度量基分类器质量的指标ωi ,有如下定义㊂定义4㊀对于任意基分类器C i ɪΠ,其质量度量指标ωi 的计算公式为ωi =γAcc _ω∗i+(1-γ)H ∗(C i ),(10)式中:γ为权重因子,取值为[0,1]㊂3㊀基分类器三支过滤3.1㊀池机制更新过程在进行基分类器过滤前,设置了一种缓冲池与选择池机制,选择池与缓冲池用来存放一定数量的基分类器㊂在集成过程中,优先从选择池中选取加入集成阶段的基分类器,当满足集成条件的基分类器数量不足时,再从缓冲池中调取所需数量的基分类器加入选择池,继续进行过滤过程㊂设置池机制的优势在于缓冲池中保留了从选择池中移除的基分类器,即保存了暂时表现不好的基分类器,它可能在之后重新变得有用,将来也可能加入集成过程㊂选择池的存在维持了优先选择高权重基分类器的过程,并且给予了新加入基分类器一定的容错性㊂池机制更新算法如算法1所示㊂算法1㊀池机制更新算法输入:数据块S ={S 1,S 2, ,S t , },最新数据块S n ,选择池容量K ,缓冲池容量M ㊂输出:选择池集合E ,缓冲池集合B ㊂Step 1每次新到数据块S n ,给S n 建立新的基分类器C n ;Step 2对基分类器C i 和C n 分别根据式(3)和式(4)进行准确性加权;Step 3对基分类器C i 和C n 分别根据式(5)~(7)进行不确定性加权;Step 4根据Step 2㊁Step 3和式(8)~(10)求得所有基分类器的质量权值;Step 5如果选择池容量没满,即E<K ,则把C n 添加到选择池中;Step 6否则将选择池中最低质量权值的基分类器C min 移至缓冲池;Step 7若缓冲池容量已满,则先移除缓冲池中权值最低的基分类器C ∗min ,并将C min 移至缓冲池;Step 8得到选择池集合E 和缓冲池集合B ㊂3.2㊀三支决策过滤方法三支决策在信息不足或者获取足够信息的代价较高时能够兼顾决策代价与正确性㊂基于基分类器质量5262郑州大学学报(理学版)第53卷度量方法及设置的池机制,提出一种三支决策基分类器过滤(3WQE)算法,如算法2所示㊂算法2㊀基于三支决策的分类器质量优化算法输入:由算法1得到的选择池集合E,缓冲池集合B,迭代次数Q,阈值α,β(0ɤβ<αɤ1)㊂输出:集成分类器Π∗㊂Step1将选择池E中的基分类器加入集合Π;Step2对于E中基分类器C i,根据式(3)~(10)求得所有基分类器的质量权值ωi;Step3如果C i质量权值ωiȡα,将基分类器C i划分到POS(α,β)(Π)域;Step4如果C i质量权值β<ωi<α,将基分类器C i划分到BND(α,β)(Π)域;Step5如果C i质量权值ωiɤβ,将基分类器C i划分到NEG(α,β)(Π)域;Step6删除NEG(α,β)(Π)中所有基分类器,更新集合Π=Π-NEG(α,β)(Π);Step7在缓冲池B中选取NEG(α,β)(Π)个基分类器加入集合Π;Step8返回Step1;Step9直到NEG(α,β)(Π)=0或到达指定迭代次数跳出循环;Step10得到最优的基分类器集合Π∗㊂4㊀实验与分析4.1㊀实验数据集数据集通常分为人工数据集与真实数据集㊂本文采用2个人工数据集与2个真实数据集进行实验,各数据集的参数设置如表3所示㊂人工数据集由数据流分析框架MOA[17]平台下的数据流生成器所生成,分别为SEA和LED数据集㊂真实数据集为CoverType和Electricity数据集㊂SEA数据集包含3个属性值和2个标签值,属性取值为0~10,标签值与其中两个属性相关,还有一个属性是随机取值的噪声属性㊂在SEA 生成器上创建了SEA GD数据集,其中包含了4个渐变漂移㊂LED数据集由24个二进制属性组成,用于预测7段二极管上显示的数字㊂在LED生成器上创建了LED M数据集,其中既包含渐变漂移也包含突变漂移㊂CoverType数据集的任务是预测某个区域的森林覆盖类型,包含581012个实例㊁53个属性和7个类标签㊂Electricity数据集来自澳大利亚新南威尔士州的电力提供商获得的电力数据,电价受供求关系的影响而变化,包括45312个样本,每个样本由7个属性组成,用于预测电价是上涨还是下跌㊂表3㊀各数据集的参数设置Table3㊀Parameter setting of each dataset数据集实例数属性数类值数漂移数类型SEA GD1ˑ106324Gradual LED M1ˑ1062423Mixture CoverType581012537Electricity45312724.2㊀实验设置与结果4.2.1㊀数据块大小对算法性能影响评估㊀对于不断到来的数据,将其划分为多个大小相同的数据块,用于基分类器的训练和集成分类器的评估,数据块的大小直接影响算法性能㊂如果数据块过大,集成分类器将不能有效地检测到短暂的概念漂移;如果数据块过小,则会降低集成分类器在数据平稳期的分类精度㊂为验证数据块大小对算法性能的影响,采用3WQE算法进行了多次实验,不同数据块大小的准确率对比结果如图1所示㊂由图1可以看出,随着数据块的增大,算法的准确率在整体上得到了提升,这是由于数据块内提供了较多的样本使得基分类器得到了充分训练㊂但是随着数据块的继续增大,算法准确率呈现出逐渐下降的趋势,这是由于数据块内所提供的样本过多,使得集成分类器对概念漂移的识别能力降低,从而导致模型泛化能力的降低,影响了算法准确率㊂各数据集在数据块大小为500~1000时,准确率达到了峰值㊂4.2.2㊀算法准确率评估㊀所提出的3WQE算法利用阈值(α,β)将基分类器划分为三支区域,设置合理的阈值将会有效提升算法效率㊂经过多次实验发现,当阈值设置为αɪ[0.6,0.8],βɪ[0.2,0.4],算法分类㊀第1期徐健锋,等:面向概念漂移集成分类的三支决策优化方法图1㊀不同数据块大小的准确率对比Figure 1㊀Accuracy comparison ofdifferent chunk sizes准确性有相对较好的表现㊂面对不同的数据集时,需要通过多次调整确定最佳阈值以达到算法的最佳性能㊂为验证3WQE 算法的有效性,选取经典算法AWE(accuracy weightedensemble)㊁AUE2(accuracy updated ensemble2)㊁ARF (adap-tive random forest)㊁DWM(dynamic weighted majority)[18]作为对比算法,对3WQE 算法的相关性能进行评估㊂设置选择池容量K 为14,数据块大小为500,α取值为0.7,β取值为0.3,权重因子γ取值为0.4,表4给出了这些算法在不同数据集上的平均分类准确率㊂可以看出,所提出的3WQE 算法在这4种数据集的分类准确率上平均排名最高㊂在SEA GD 数据集中,AUE2和ARF 算法的分类效果大体相当,3WQE 算法效果略优于二者㊂3WQE 算法在LED M 和CoverType 数据集中也维持了高效的最佳分类效果㊂而在Electricity 数据集中,ARF 算法的分类效果最佳,3WQE 算法次之㊂多组对比实验结果表明,3WQE 算法表现出高效的分类性能,能很好地处理渐变漂移和突变漂移问题㊂说明基于三支决策的思想,依据质量评价策略对基分类器进行三支过滤,3WQE 算法可以在保持较高分类准确率的同时提升集成模型的泛化性㊂表4㊀不同算法的平均分类准确率Table 4㊀Average classification accuracy of different algorithms单位:%数据集AWE AUE2ARFDWM 3WQE SEA GD 86.8287.9287.9386.7488.14LED M 72.9772.7872.9472.8373.12CoverType 82.9289.8393.0485.2193.34Electricity71.8878.5488.7578.3182.275㊀结论本文提出一种面向概念漂移集成分类的基分类器三支过滤方法㊂该方法基于信息熵理论构造了一种基分类器的不确定性度量策略,在此基础上融合经典的准确性度量方法作为基分类器的质量度量指标㊂结合三支决策方法对基分类器进行三支过滤,从而得到一组在当前概念漂移数据环境中有较好性能的基分类器㊂通过一系列实验验证和对比,证明该算法可有效提升概念漂移集成分类的准确性和泛化能力㊂参考文献:[1]㊀GAMA J.Knowledge discovery from data streams[M].New York:Chapman and Hall /CRC Press,2010.[2]㊀GAMA J.A survey on learning from data streams:current and future trends [J].Progress in artificial intelligence,2012,1(1):45-55.[3]㊀KHAMASSI I,SAYED-MOUCHAWEH M,HAMMAMI M,et al.Discussion and review on evolving data streams and conceptdrift adapting[J].Evolving systems,2018,9(1):1-23.[4]㊀DITZLER G,ROVERI M,ALIPPI C,et al.Learning in nonstationary environments:a survey[J].IEEE computational intelli-gence magazine,2015,10(4):12-25.[5]㊀GAMA J,ŽLIOBAITE ㊃I,BIFET A,et al.A survey on concept drift adaptation[J].ACM computing surveys,2014,46(4):1-37.[6]㊀ALIPPI C,BORACCHI G,ROVERI M.Just in time classifiers:managing the slow drift case[C]ʊInternational Joint Confer-ence on Neural Networks.Atlanta,2009:114-120.[7]㊀KRAWCZYK B,MINKU L L,GAMA J,et al.Ensemble learning for data stream analysis:a survey[J].Information fusion,2017,37:132-156.[8]㊀GOMES H M,BARDDAL J P,ENEMBRECK F,et al.A survey on ensemble learning for data stream classification[J].ACM7282郑州大学学报(理学版)第53卷computing surveys,2017,50(2):1-36.[9]㊀SUN Y G,WANG Z,LI H,et al.A novel ensemble classification for data streams with class imbalance and concept drift[J].International journal of performability engineering,2017,13(6):945-955.[10]REN S Q,LIAO B,ZHU W,et al.Knowledge-maximized ensemble algorithm for different types of concept drift[J].Informa-tion sciences,2018,430:261-281.[11]LI Y,XU L,WANG Y G,et al.A new diversity measure for classifier fusion[J].Communications in computer and informa-tionence,2012,346:396-403.[12]MINKU L L,YAO X.DDD:a new ensemble approach for dealing with concept drift[J].IEEE transactions on knowledge anddata engineering,2012,24(4):619-633.[13]BRZEZINSKI D,STEFANOWSKI J.Reacting to different types of concept drift:the accuracy updated ensemble algorithm[J].IEEE transactions on neural networks and learning systems,2014,25(1):81-94.[14]DHALIWAL P,KUMAR A,CHAUDHARY P.An approach for concept drifting streams:early dynamic weighted majority[J].Procedia computer science,2020,167:2653-2661.[15]YAO Y Y.Three-way decisions and cognitive computing[J].Cognitive computation,2016,8(4):543-554.[16]BRZEZINSKI D,STEFANOWSKI bining block-based and online methods in learning ensembles from concept driftingdata streams[J].Information sciences,2014,265(5):50-67.[17]BIFET A,HOLMES G,KIRKBY R,et al.MOA:massive online analysis[J].Journal of machine learning research,2010,11(2):1601-1604.[18]LU J,LIU A J,DONG F,et al.Learning under concept drift:a review[J].IEEE transactions on knowledge and data engi-neering,2019,31(12):2346-2363.Three-way Decision Optimization Method for Concept DriftEnsemble ClassificationXU Jianfeng1,2,3,XIN Peng1,XUE Guoze2,YANG Yingfang2(1.School of Information Engineering,Nanchang University,Nanchang330031,China;2.School of Software,Nanchang University,Nanchang330047,China;3.School of Electronics and Information Engineering,Tongji University,Shanghai201804,China) Abstract:The three-way filtering method of the basic classifier for concept drift ensemble classification was proposed.The uncertainty of the base classifier was firstly calculated based on the information entro-py theory.And its accuracy was fused as a quality measure of the base classifier.Then the base classifier was three-way filtered by presetting the thresholdsα,β.The three-way filtering strategy was:base classi-fiers with quality weight less than or equal to thresholdβwere removed;base classifiers with quality weight greater than or equal to thresholdαwere retained;and base classifiers with quality weight greater thanβless thanαwould be delayed for further decisions.A corresponding number of base classifiers were added,the quality weight of the base classifiers was recalculated,and the three-way filtering was applied again until no base classifiers were removed or the specified number of iterations was reached. Compared with several classical algorithms on real datasets and synthetic datasets,the results showed that the proposed algorithm could effectively improve the classification performance.Key words:three-way decision;ensemble classification;concept drift;uncertainty evaluation;informa-tion entropy(责任编辑:孔㊀薇㊀王浩毅)。
