随机森林在企业信用评估指标体系确定中的应用_林成德

第46卷 第2期厦门大学学报(自然科学版)V ol.46 N o.2 2007年3月Journal of Xiam en U niversity (Natural Science)M ar.2007随机森林在企业信用评估指标体系确定中的应用林成德,彭国兰(厦门大学自动化系,福建厦门361005)收稿日期:2006-06-18基金项目:厦门大学985二期工程科技创新平台项目资助E mail:cdlin@xm 摘要:评估指标体系的确定是企业信用评估的一个关键环节,指标体系选取的好坏直接影响模型的预测准确率.本文引进组合学习算法的新方法随机森林(Rando m Fo rest,R F)来选择指标,使得到的指标体系更加客观,更加符合机器学习的特点.实验证明,该方法确定的指标体系能更有效地体现企业的信用状况,使用该指标体系建立的随机森林评估模型具有更高的预测准确率.关键词:随机森林;企业信用评估;评估指标体系;特征选择中图分类号:T P 18 文献标识码:A 文章编号:0438-0479(2007)02-0199-05 企业信用评估是商业银行资产业务,特别是贷款业务经营的核心内容.建立信用评估模型的两个关键环节是选择科学的指标体系和评估方法.评估方法指的是模型所采用的学习算法,有关这方面的研究是以往信用评估研究的重点,并且得到了很好的发展.国际上广泛采用的企业信用评估模型主要有:统计模型[1]和神经网络模型[2](N eural Netw ork,NN);近年来,在智能学习系统领域发展起来的新理论,适合小样本学习的通用学习算法支持向量机(Support Vecto r Machine,SVM )也应用到信用评估领域[3].但迄今,信用评估模型指标体系的确定仍大多参考有关专家的建议人为指定.由于各专家的观点不尽相同,目前国内信用评估研究学者所采用的指标体系也各不相同:如王春峰等采用6指标体系[4],吴冲等采用16指标体系[5]等.针对这种情况有专家提议,能否采用适当的学习算法确定指标的重要性,并在此基础上进一步确定评估模型所需的指标体系.这正是本文的出发点,同时也希望本文的结果得到财务专家和其他研究工作者的解释和修正.企业财务状况的好坏直接决定了企业的还贷能力,因此我们主要考虑银行提供的企业财务数据.本文主要考虑纯粹的财务比率指标,因为这些指标脱离了具体的企业属性,在不同的企业间具有可比性.通过分析银行提供的财务数据,发现数据属性繁多,而且众多的财务数据分布复杂,对评估模型形成很强的噪声干扰.因此,如何从众多的财务指标中选取那些更为有效的指标显得尤为重要.本文介绍一种能较好容忍噪声且稳定性较高的智能学习算法随机森林(Rando m Forest,RF),并将其应用于评估模型指标体系的确定.实验证明,该算法具有较好的稳定性,针对原始数据集上不同的训练数据,该算法选出的指标具有一致性.换句话说,随机森林能较好地挖掘出原始数据集包含的内在信息,将随机森林学习算法应用于指标体系的确定具有较稳定的结果.1 随机森林的原理随机森林(RF)是Leo Breiman [6]于2001年提出的一个组合分类器算法,是由许多单棵分类回归树(CART )组合而成的,最后通过简单多数投票法决定最终分类结果.1.1 随机森林算法评估指标在RF 的研究中通常称为/特征0.随机森林中单棵树的生长可概括为以下几点:1)使用Bag ging 方法[7]形成个别的训练集:假设原始训练集中的样本数为N ,从中有放回地随机选取N 个样本形成一个新的训练集,以此生成一棵分类树.2)随机选择特征(指评估指标,以下同)对分类树的节点进行分裂:假设共有M 个特征,指定一个正整数m n M ;在每个内部节点,从M 个特征中随机抽取m 个特征作为候选特征,选择这m 个特征上最好的分裂方式对节点进行分裂.在整个森林的生长过程中,m 的值保持不变.3)每棵树任其生长,不进行剪枝.Bagg ing 方法形成新的训练集和随机选择特征进行分裂,使得随机森林能较好地容忍噪声,并且能降低单棵树之间的相关性;单棵树不剪枝能得到低偏差的分类树,同时保证了分类树的分类效能(streng th).分类树的分类效能是指分类树对新的测试数据的分类准确率.随机森林的输出组合方法有简单多数投票法(针对分类)和单棵树输出结果的平均(针对回归).1.2OOB误差估计通过简单计算得知,原始训练集中有近37%的数据可能未被Bagg ing生成的新训练集所选中,因此可以用来作为测试数据对该分类树的泛化性能进行估计,这部分数据称为袋外数据(Out-Of-Bag,OOB),这种估计方法被称为Out-Of-Bag Estimation[8].当RF 中树的数目足够多以使测试误差收敛时,OOB估计为无偏估计[6].1.3指标重要性的计算随机森林的一个重要特性是能计算单个特征的重要性.对特征重要性的度量基于以下启发式思维:当对一个相关特征(即对预测准确率可能起重要作用的特征)加入噪声后,RF的预测准确率将显著降低.其具体计算方法可表述为:1)对已生成的RF,用OOB数据测试其性能,得到一个OOB准确率;2)随机地改变OOB数据中某个特征v的值(即给特征v人为地加入噪声干扰),再用加入噪声后的OOB 数据测试RF的性能,得到一个新的OOB准确率;3)原始OOB准确率与加入噪声后的OOB准确率之差,可以作为相应特征v的重要性度量值.若给某特征随机地加入噪声后,OOB准确率大幅度下降,则表明该特征的重要程度较高.利用随机森林能计算特征重要性的特点,可将其应用于特征选择.本文就是利用RF的这个特点来确定企业信用评估模型的指标体系.1.4随机森林的泛化误差[6]对于分类器集合{h1(x),h2(x),,,h k(x)},输入向量x和理想输出向量y,定义间隔函数如下: mg(x,y)=av k I(h k(x)=y)-maxj X yav k I(h k(x)=j)(1)式中I(#)为指示函数,av k(#)为取平均值.间隔mg(x,y)衡量了分类器集合将特定样本x分对的平均票数,与将其错分为其它类的平均票数之最小差值;这个间隔越大,分类器的性能越好.RF的泛化误差可表示为:PE*=P X,Y(mg(x,y)<0)(2)随着RF中分类树数目的增长,泛化误差PE*几乎处处收敛于:P X,Y((P((h(x,()=y)-maxj X yP((h(x,()=j))<0)(3)其中,(是对应单棵决策树的随机向量,h(x,()为基于x和(的分类器的输出.定义组合分类器{h(x,()}的总体分类效能s为:s=E X,Y mg(x,y)(4)若用Q表示各分类树之间相关度的平均值,则RF 的泛化误差PE*的上界可由下式给出:PE*[ Q(1-s2)/s2(5)显然,为使组合分类器具备好的泛化性能,应尽量增大单棵分类树的分类效能(直接影响mg(x,y)的值,从而增大s),而减小分类树之间的相关性.当森林中的分类树足够多时,随机森林的泛化误差几乎处处收敛于一个有限值.因此,随着森林中分类树数目的增长,随机森林算法并不会导致过拟合.式(1)定义的间隔函数体现了选定的分类树集合对企业信用等级的区分能力的强弱.考虑到学习样本抽取的随机性,我们要从研究对象的概率分布情况来讨论评估模型的泛化能力;式(2)定义了分类树集合可能产生误分的概率;式(5)提供了该泛化误差的上界.本节讨论的泛化性体现了评估模型对新企业的评级可信程度,模型的泛化性能越好,对新企业的评级结果越可靠.2随机森林在企业信用评估指标体系确定中的应用企业信用评估是根据银行提供的相关数据,将企业划分到相应的信用等级.国内多数评级机构采用的信用等级通常为AAA、AA、A、B、C5个等级[9],代表的含义分别为:信用程度极好、优良、较好、一般、欠佳.由于银行提供的数据中分别属于A、B、C3个等级的企业数较少,本文将A、B、C3个等级归为一类,因此本文考虑的等级为AAA、A A、ABC,分别标识为1,2, 3.建立信用评估模型时,首先要确定模型需采用的指标体系,通常做法是根据财务专家的建议人为指定.文献[10-11]从财务理论的角度研究信用评估指标体系,他们选取指标的依据与算法无关,具有较多的理论意义.由于信用评估模型的数据特征很多、噪声较大,而随机森林技术特别适合于对高维输入空间进行特征选择,当数据含噪声时也能表现出良好的性能[12].因此,我们将RF用于模型的指标体系确定,并采用专用的R语言程序包varSelRF[13]来进行必要的#200#厦门大学学报计算.具体做法为:1)计算出各指标的重要性,并以降序排列;2)确定剔除比例,从当前指标集中依次剔除相应比例的不重要指标,每做一次剔除得到一个指标集;继续剔除不重要的指标直到剩2个指标;3)比较步骤2)中得到的各指标集对应的OOB 误差率,将对应OOB 误差率最低的指标集作为选定的指标体系.为了尽量减少训练样本分布对实验结果的影响,本文采用五重交叉数据确定指标体系.五重交叉数据的思路类似于五重交叉验证,即:先将全部训练数据随机地分为等量的5部分,选择其中的4份作为训练数据选取指标集;更换其中的1份数据,重复实验;这样得到5组不同的指标集,最后选用出现次数较高(本文是指出现次数\3)的指标形成备选的指标体系.3 仿真实验3.1 实验数据准备本文的实验数据来源于福建省某商业银行的贷款企业数据库.由于企业财务状况的好坏直接决定其是否能按时还本付息,因此我们仅限于从财务的角度建立信用等级评估模型;为使不同行业的企业具有可比性,我们只取财务比率指标.根据常用的准则以及专家的建议,我们采用24个财务比率指标作为评估模型的候选指标全集,指标名称及编号见表1.表1 财务比率指标编号T ab.1 ID of the financial r atio index es在建立评估模型之前,要对数据进行预处理.首先删除含属性值缺失的数据;然后综合考虑行业专家建议和统计分析结果,使用最大最小值法对输入指标值进行归一化处理,将每个比率指标归一化到[0,1].归一化可以消除量纲的影响,避免数值较大的指标消弱取值较小的指标对模型的影响.在预处理后得到的1143家可用企业数据中,信用等级为A AA 的占575家,等级为AA 的占471家,等级为A 、B 、C 的企业共有97家.3.2 指标体系的确定针对1143条数据使用五重交叉数据选取指标,我们得到5个指标子集,再综合这5个指标子集得到最终的指标体系.具体步骤为:1)计算各指标的重要性(参见1.3),以1.2节所述的OOB 准确率(即:对未直接参与建模的学习样本的信用等级的预测准确率)的平均下降值作为度量,并将相应特征按降序排列.5个训练子集上的特征重要性降序排列分别为:tr ain1: 10,13,14,5,9,8,19,24,3,12,17,6,21,15,20,23,16,7,2,1,22,18,4,11;tr ain2: 10,14,13,9,5,8,19,24,12,6,17,3,20,23,15,16,21,2,7,22,1,4,18,11;tr ain3: 10,13,14,9,5,19,24,12,17,8,6,3,21,23,20,15,2,16,7,1,22,4,18,11;tr ain4: 10,13,14,5,9,19,21,8,24,3,6,12,17,20,15,23,16,2,7,22,1,18,4,11;tr ain5: 10,13,14,5,9,19,8,24,3,21,17,6,12,20,23,7,2,15,16,22,1,18,4,11.2)在计算好指标重要性的基础上,采用后向剔除法选择指标集.选取对应OOB 误差率最小的指标子集作为该训练数据集对应的指标体系.实验结果见表2.为考虑泛化性,我们分别选择出现5、4和3次的指标形成3个备选指标集,它们分别是S 5={5,8,9,10,12,13,14,19,24},S 3=S 4=S 5G {3,20,21}.计算这3个指标集对应的OOB 误差率,它们分别为:21.97%,21.01%和21.01%.因此选择OOB 误差率较小的指标集S 4作为我们的最终指标体系.3.3 指标体系的性能比较专家建议的指标体系为8指标体系:1,2,3,4,5,6,7,8,记为指标集1.文献[14]在专家建议的8指标#201#第2期 林成德等:随机森林在企业信用评估指标体系确定中的应用表2 五重交叉数据选取的指标集T ab.2 Index sets selected fo r five -fold datasets 数据指标体系OO B 误差率/%T r ain13,5,8,9,10,12,13,14,19,20,21,2421.90T r ain25,8,9,10,12,13,14,15,17,19,23,2420.85T r ain33,5,6,8,9,10,12,13,14,17,19,20,21,23,2422.86T r ain43,5,8,9,10,12,13,14,19,20,21,2421.02T r ain53,5,8,9,10,12,13,14,19,20,21,2420.74体系基础上,结合Wr apper [15]+NN 方法从候选指标中选出9,10,13,14指标,得到12指标体体系,记为指标集2.本文通过RF 选择的指标体系S 4(参见3.2)记为指标集3.随机选取全体数据的75%作为训练数据,剩余的25%作为测试数据,分别采用指标集1~3作为模型的输入,用NN 、SVM 和RF 建立评估模型.调整模型参数,重复多次实验.其中NN 模型采用一个隐层,隐层节点数设为5~50,最大训练代数设为10~100;SVM 模型的核函数选择径向基函数,采用1vs 1的方法解决多分类问题[16],分别设定每个两分类问题的参数值,其中gamma =2-5,,,25,C =10,20,,,100,选择对应准确率高的参数对作为SVM 模型的参数,最后采用简单多数投票法确定最终的分类结果;RF 模型中,分类树的数目(ntr ee)设为100~2000,每个内部节点的候选特征数(m)取默认值sqr t(M ),并为平衡各等级的预测准确率,调整各等级上的惩罚系数.表3 各指标集在N N 模型、SVM 模型、RF 模型下的预测准确率T ab.3 P rediction accur acy of index sets on N N ,SV M and RF models指标集神经网络(N N)T otalAA AA AA BC支持向量机(SVM )T ot al A A A AA A BC 随机森林(RF)T otal A A A A A ABC 10.66080.78990.57260.37500.65030.81880.54030.25000.62940.65940.60480.583120.78030.92220.61670.69520.77620.84060.73390.62500.79720.83830.75810.7919表3所列为各模型准确率的较好实验结果,其中NN 模型的隐层节点数为30,训练代数为30;SVM 模型gam ma =0.25,c =10;RF 模型的ntree =2000.实验过程反映:神经网络模型对参数的改变敏感,在多次试验中,其准确率与表3所列值的差异量小于1%的次数占试验总次数的73%,支持向量机的相应值为87%;而随机森林最好,能达到91%.这一现象说明随机森林模型具有较好的稳定性,支持向量机模型次之,而神经网络模型的稳定性较差.3.4 结果分析从表3可以看出,在SVM 模型中,指标集1对应的总体预测准确率为0.6503,指标集3的测准确率达到了0.7867,明显好于指标集1,略高于指标集2的0.7762.比较各类别的准确率,基本具有相同的趋势,只有在等级AA 上,指标集2的性能略好于指标集3.因为Wrapper+NN 选取的特征是基于NN 算法的,所以指标集2用于建立NN 模型时,显示出较好的性能.指标集2在NN 模型上,其总体预测准确率为0.7803,明显好于指标集1的0.6608,略好于指标集3的0.7797.RF 选取特征本质上也是一个W rapper 算法,所以Wrapper+RF 选取的特征用于RF 建模表现出更好的性能.表3显示,用指标集3建立RF 模型时预测准确率达到0.8007,好于SVM 和NN 模型的0.7972和0.6294.由于企业信用评估数据本身的复杂性,在各细分等级上偶尔会出现波动;但是,相对于指标集1和2而言,指标集3明显具有较好的总体预测准确率,并且各等级上的预测准确率也比较平衡,从而在实际应用中具有更大的价值.4 结束语随机森林是一个组合分类器算法,该算法将Bag -g ing 生成新的训练集和随机选择特征输入相结合生成单棵分类树,然后采用简单多数投票法决定最终分类结果.简单多数投票法将所有分类树的结果进行简单相加,这样,分类效能很差的分类树会降低总体分类准确率.如何更有效地识别和利用分类效能高的树组合成最终的随机森林是未来的研究目标.随机森林能有效处理含噪声的数据,且对于其泛化性有严格的数学证明,该算法不会过拟合.本文针对企业信用评估中样本数据指标多、噪声复杂的特点,提出了一种基于随机森林的评估指标体系确定方法.实验结果表明,使用随机森林确定的指标体系具有较好的分类准确率和泛化性能;并且该算法得到的特征重#202#厦门大学学报(自然科学版) 2007年要性度量有一定的参考价值.参考文献:[1] A lt man E.F inancial r atios,discriminant analysis and thepredict o f cor po rate bankr uptcy [J].Jo ur nal of F inance,1968,23(4):589-609.[2] Odom M D ,Sharda R A.N eur al netw ork fo r bankruptcypredictio n[J ].Inter national Joint Co nfer ence on N eural N etwo rks,1990,2(6):163-168.[3] 刘闽,林成德.基于支持向量机的商业银行信用风险评估模型[J].厦门大学学报:自然科学版,2005,44(1):29-32.[4] 王春峰,康莉.基于遗传规则方法的商业银行信用风险评估模型[J].系统工程理论与实践,2001(2):71-79.[5] 吴冲,吕静杰,潘启树,等.基于模糊神经网络的商业银行信用风险评估模型研究[J].系统工程理论与实践,2004(11):1-8.[6] Breiman L.Rando m for ests[J].M achine L earning ,2001,45(1):5-32.[7] Breiman L.Bagg ing pr edito rs [J ].M achine L ea rning,1996,24(2):123-140.[8] Breiman L.Out -of -bag estimat ion [O E/O L ].1996.ft p.stat.ber /pub/users/breiman/OO Bestimation.ps.[9] 何艳芳,石丹林.银行客户信用等级[M ].北京:中国商业出版社,2002:73-78.[10] 魏巍贤.企业资信等级综合评价方法及应用[J].系统工程理论与实践,1998,6:26-30.[11] 牟秉华,詹银珍.我国企业债券信用评级指标体系研究[J].中南财经大学学报,1999(3):91-95.[12] R amon Diaz -U riarte,Sa ra A l,a rez de A ndres.V ariableselect ion fro m r andom for ests:applicat ion to gene ex-pression data[O E/O L].2005.htt p:P P lig art o.o rg /r diaz.[13] T he Depar tment o f Stat istics and M athematics of theW U W ien.T he comprehensiv e R archive netwo rk [OE/O L ].2006-04.http:P P cr an.r -pro ject.o rg /sr c/contrib/PA CK A GES.html.[14] 阳维.基于分类器组合的企业信用评级研究[D].厦门:厦门大学,2005.[15] R on K ohavi,Geo rg e H John.W rappers for feature sub -set selectio n[J].A r tificia l Intelligence,1997,97:273-324.[16] Chang C C,L in C J.LI BSV M :a librar y for suppo rt vec -to r machines [OE/O L ].2001.http:P P w ww.csie.nt .tw /~cjlin/papers/libsvm.pdf.Application of Random Forest on Selecting Evaluation Index Systemfor Enterprise Credit AssessmentLIN Cheng -de,PENG Guo -lan(Depar tment of A uto matio n,Xiamen U niver sity,Xiamen 361005,China)Abstract:One of the key steps fo r the modeling of enterprise cr edit assessment is the selection o f its ev aluatio n index system.I taffects dir ectly the predictio n accur acy of the model.A new ensemble -learning algo rithm -R andom Fo rest is applied in this paper.A s a co nsequence,the selected index system is mor e objective and mor e suitable fo r machine learning.N umerical ex per iment s sho w that the index system select ed by Rando m F orest can effect ively reflect the cr edit status o f the enter pr ises,and impr ov e the pr ediction ac -curacy o f the assessment mo del based o n R andom F or est.Key words:Rando m Fo rest;enterprise cr edit assessment;ev aluatio n index sy stem;feature selectio n#203#第2期 林成德等:随机森林在企业信用评估指标体系确定中的应用。