信用评级模型的验证方法探讨

信用评级模型的验证方法探讨完整的信用风险管理体系不仅包含科学的违约概率预测方法，可靠的验证程序也是风险管理工作的重要保证。

传统的检验方法建立在“50%”临界点的基础上，但这并不是一个可靠的选择。

ROC动态检验方法中判断标准被设定为动态变化的，ROC曲线刻画的是在连续临界点取值下，命中率和错报率的组合情况，呈现的检验结果客观直接，且不产生指标间的相互矛盾。

通过基于真实数据的实证分析，ROC动态检验被认为是一个更科学的检验方法。

标签：ROC 内部评级违约概率模型检验1 概述在巴塞尔委员会2004年6月正式发布《统一资本计量和资本标准的国际协议：修订框架》以来，建立符合自身利益和监管要求的信用管理系统已经成为各家银行的共识。

然而完整的信用风险管理体系不仅包含科学的违约概率预测方法，严谨的验证过程也是风险管理工作的保证。

巴塞尔委员会要求“银行必须建立一个健全的体系，验证评级系统所有风险要素的准确性和一致性”[1]。

因此，一个合理的违约预测结果检验方法和违约预测方法本身一样重要。

然而现有的研究工作依然大量地集中在预测模型本身，对检验方法的研究还相对薄弱，目前相关文献中采用的预测模型检验方法大多为传统的“50%”临界点检验方法①，比如邹亚宝和梁红漫（2013）[2]、蓝润荣和程希俊（2013）[3]、杨蓬勃等（2009）[4]。

但是，正如石晓军等人指出的（2007）[5]，“这个选择并没有坚实的理论依据”。

事实上，50%并不是一个可以被普遍接受的违约概率。

在很多情况下，违约概率即便为20%，也被视为是一个不能接受的贷款申请。

因此，这一传统的方法并不十分合理。

由于传统检验方法的局限性，学者进行了检验方法的相关研究。

目前得到业界和学术界较多关注的方法有KS指标法、CAP曲线法、对数似然率方法以及ROC曲线法。

其中，得到最多关注和认可的当属ROC曲线法。

然而从可以获得的研究成果来看，相关的研究工作均是在进行信用风险预测模型研究时为了验证模型的预测准确性而涉及该方法[6]。

这些研究并未对其进行详尽的理解和介绍，对其检验结果的分析也仅限于ROC面积这一指标，存在极大的片面性。

本文以真实数据为基础，采用ROC动态检验方法，分别对两种违约预测模型的预测能力进行检验。

研究工作对检验结果进行比较，证明了ROC动态检验方法在模型预测检验上更加全面，在模型选择上具有更好的识别能力。

同时，ROC检验方法使得决策者能够根据自身对Ⅰ类错误率和Ⅱ类错误率的偏好倾向而更加灵活地选择是否违约的判断标准。

这说明ROC动态检验方法在理论上和实践中都具有更大的优势。

2 ROC动态检验方法简介ROC动态检验最先出现在信号探测理论中，是一种科学的量化检验方法，能有效克服传统检验方法在临界点选择上的片面性。

Sobehart和Keenan第一次将这一方法运用在信用评级模型预测能力的检验研究工作中（2001）[7]。

他们对ROC方法进行了介绍，同时对ROC检验方法的结果做了解释。

他们最主要的结论是：ROC曲线下的面积大小，是对信用评级模型进行评判的重要指标。

但是ROC曲线的意义远不止于此。

■图1 违约客户和履约客户分布图图1是违约客户和履约客户的分布图，其中两个半圆分别代表了违约客户集合和履约客户集合。

对于违约概率预测模型来说，风险评估人员需要事先设定一个概率值作为判断标准，依此对企业在未来是否违约做出判断。

“C”即代表了对是否违约的判断标准：如果模型预测客户违约概率大于C标准，我们认为该贷款客户将会出现违约；反之，则判断其可能履约。

如果“C”能将两个客户群体完全区别开，则是一个完美的模型预测结果。

但是，实际模型得到的违约群体和履约群体两个分布一定有重叠部分，这是评判模型的精确程度的重要依据。

重叠部分越大，评判模型对客户分布的区分能力越差，模型预测的精度也就越差。

表1是模型预测可能得到的四种结果：表1 模型预测四种结果②■hit（C）表示以“C”为判定标准时，“hit”所代表的客户数目，即被正确判定为违约的实际违约贷款客户数目。

ND是实际违约客户数目。

命中率HR（C）=■表示在判定标准为“C”的时候，被正确判断为违约的实际违约客户占全部违约客户的比例。

这一指标是对模型正确判断违约客户能力的衡量。

false（C）表示以“C”作为判定标准时，被错误判断为违约的实际履约客户数目；NND表示样本中实际履约客户的全体数目。

错报率FAR（C）=■，表示当判定标准为“C”的时候，被错误判断为违约的实际履约样本数目占实际履约客户的比重。

这一指标是对模型错误预报违约的程度的描述。

在传统的检验方法中，“C”通常被设定为“50%”。

而ROC动态检验并不拘泥于特定的临界点标准。

在ROC 检验中，“C”被設定为动态变化的，能够取从“0%”到“100%”间的任意一个概率值。

因此，ROC检验方法对违约的判断结果是随着“C”的取值变化而改变的。

在一个坐标系中，以命中率HR（C）作为坐标系的纵坐标变量，错报率FAR （C）表示坐标系的横坐标变量。

对每个观测样本，模型都预测出对应的违约概率。

依次将这些概率值作为判定标准“C”，我们能够计算出每个“C”对应的命中率HR（C）和错报率FAR（C）。

在坐标轴上对每一对HR（C）和FAR（C）描点，并将各个点用折线联接，因此我们得到的ROC曲线是一条由各个概率值为节点连接成的折线。

其特别之处在于，ROC曲线并不表示HR（C）随FAR（C）变化而变化的轨迹。

事实上，ROC曲线反映了在不同的判定标准“C”取值下命中率HR（C）和错报率FAR（C）的配对情况。

ROC曲线必定经过点（0，0）和点（1，1）。

这是因为当“C”取值最小违约概率值时，我们得到hit（C）=false（C）=0，此时HR（C）=FAR（C）=0；当C取值最大违约概率值时，则有hit（C）=ND，false（C）=NND，HR（C）=FAR （C）=1。

ROC曲线围成的面积用A表示，即：A=■HR（FAR）d（FAR）。

A 大小反映了模型的预测效果。

A值越大，说明ROC曲线和坐标轴围成的面积越大，那么模型的预测能力越好。

为了比较不同模型的预测效果，我们可以将A 的大小转化单一数字表示的概况统计量AUC。

AUC是单位面积的一部分，其值介于“0”和“1”之间。

当AUC=0.5时，ROC曲线为一条斜向右上方的直线，这表示模型没有任何判定预测能力。

如果模型达到最佳预测效果，ROC曲线和坐标系纵轴及HR（C）=1的横线相重合。

其时，AUC=1。

当我们需要对不同模型的预测能力进行比较时，方便的方法就是比较各个模型对应的AUC值。

3 基于二值响应面板数据模型的实证研究为了进一步说明新方法的检验能力，我们以真实数据为基础，建立两个不同的二值响应面板数据模型进行模拟估计。

为了对模型的预测能力进行检验，我们分别采用传统“50%”临界点方法和ROC动态检验方法。

比较不同的检验结果，我们就能够发现两者在分析预测准确程度方面的不同表现，由此导致的在模型选择上的表现也有所差别。

3.1 样本选取本文进行实证分析的数据来源是福建省2007年到2011年五年间78家连续在中国工商银行获得贷款的中等规模企业③相关财务信息和违约情况。

由于该银行规定客户进行贷款申请时必须提供近三年的财务报告，同时银行也会根据历史数据对申请贷款的客户进行过往三年的信用等级评估。

为了增加模型估计的样本数，我们将过往信用评级（2005年至2006年）高于BBB级以上（含BBB）的企业也视为违约企业，因此我们实际获得的数据包含了2005年到2011年间相关信息。

在剔除含有异常值和缺失值的观测对象后，我们实际获得525个样本对象，其中，符合本文定义的“违约”含义的个体为43个。

我们将全部样本数据分为两部分，一部分涵盖了2005年到2009年的时间范围，作为样本内数据，用来实现模型的分析；另一部分取2010年到2011年的样本信息，视为样本外数据，用来检验模型的样本外预测能力。

3.2 信用评级模型构建根据该银行进行内部信用评级所选用的财务比率的特点，全部财务指标可以分为四大类（表2）：偿债能力状况比率，财务效益比率，资产营运状况比率和发展能力比率。

表2 模型选用财务比率■为了比较不同检验方法在模型选择上所发挥的作用，我们借鉴郑大川（2010）[8]的做法，分别建立含有随机效应和不含有随机效应的二值响应面板数据模型。

因变量Y取值为“0”和“1”，其中“0”表示履约企业，“1”表示違约企业。

经过GLLAMM程序对样本内数据进行后向逐步回归变量选择后，最终确定模型变量为资产负债率，资本积累率，净资产收益率，流动资产周转率，主营业务现金比率，速动比率，流动比率。

经过参数估计，最终得到模型参数的估计结果（表3）：表3 违约预测模型参数估计结果■3.3 两种违约预测检验方法的结果本文采用传统的“50%”临界点检验和ROC动态检验对两个预测模型分别进行检验。

通过对检验结果的不同表现进行深入分析，试图说明新方法在模型检验和模型优劣性选择上所具有的优势。

我们采用传统检验方法，得到并归纳预测结果分析如下（表4）：Ⅰ类错误和Ⅱ类错误是衡量二值模型预测能力的两个重要指标，在这里它们用来衡量模型预测误差的倾向性。

在违约概率预测中，Ⅰ类错误过大反映模型容易错误地将违约企业视为正常企业而进行授信工作，从而给银行带来更大的信用风险；Ⅱ类错误过大则表示银行倾向保守，容易将实际正常企业视为违约企业，而拒绝贷款发放，从而使得银行利润减少，从某种意义上来说，这也是一种风险。

银行进行贷款发放时，需要综合考量两类错误。

我们同时采用ROC动态检验方法对模型预测结果进行准确性检验。

经过计算，三条ROC曲线分别如图2。

为了更清楚地比较不同样本范围下两个模型进行ROC动态检验的结果，我们将ROC面积整理如下（表5）：表5 两个模型在不同样本区间的AUC值■3.4 两种检验方法结果的分析从实证结果来看，在传统的检验方法下，两个模型的优劣性在不同的指标上出现了相互矛盾的地方。

表4显示，在正确率和Ⅱ类错误指标下，含有随机效应的模型在各个样本区间都优于不含随机效应的模型。

但是，在Ⅰ类错误率指标下，含有随机效应的模型则呈现了相反的结果。

结果显示，样本内区间上，含随机效应的模型Ⅰ类错误率是0.631，不含随机效应的模型则是0.737，含随机效应的模型要优于不含随机效应的模型。

然而，在样本外区间和样本总体区间上，我们看到含有随机效应的模型Ⅰ类错误率分别为0.875和0.704，均高于不含随机效应的模型。

这就表明，在Ⅰ类错误率这个指标上含有随机效应的模型反而不如不含随机效应的模型。

我们看到，ROC动态检验和传统“50%”临界点检验方法最大区别在于其所具备的全局性。