第9章：信用评分模型监控报告¶

信用评分模型在项目规格设计时间：①定义观察期间与表现期间，此两段期间均为过去的时间；②用各种统计方法与模型找出开发样本在观察期间的形态（Pattern）及其与表现期间结果之间的关系。接下来，若模型通过稳定度与鉴别度等模型开发阶段的验证，即可将模型建立在系统上，进行自动化的信用评分作业。

因此，持续有效的信用评分模型需建立在以下基本假设仍成立的状况下。

观察期间的稳定性

观察期间的稳定度是指过去开发样本与现行评分客户间呈现的稳定的形态。以图9-1为例，若以观察期间1（观察至2×10/01）和表现期间1（截止2×11/01）作为开发样本的期间；以观察期间2（观察至2×10/02）和表现期间2（截止2×11/02）作为现行评分客户的期间，就需要比较观察期间1（开发样本）和观察期间2（现行评分）的整体评分与评分变量的分布状况是否趋于一致，以避免出现现行评分客户与开发样本差异过大及群体稳定度降低，进而影响评分模型鉴别力的现象出现。

表现期间的鉴别度

现行评分客户经过一段表现期间后仍具鉴别力。接续以上范例，若以观察期间2（观察至2×10/02）和表现期间2（截止2×11/02）作为现行评分客户的期间，则需以客户2×10/02的整体评分与评分变量作为基础，并在2×11/02中分析是否具备评分/评分（预期风险）与表现（实际风险）相符状况，以确保评分模型仍具鉴别力。

然而，外部经济情势变化、同业间推出的各项商品服务与营销活动，以及公司内部经营策略的调整，均可能使信用评分模型接受的客户类别形态产生结构性转变，进而影响模型稳定度；即使是相同的客户类别形态也可能受到上述因素的影响，从而发生鉴别度不足的状况。

因此，信用评分模型的工作不是模型开发完成上线就结束，还要定期执行监控报告作业，并在出现异常状况时进行适当维护，以确保信用评分模型能持续有效地达成其“准确判断评分客户信用风险”的目的。

此监控作业包括：①确认数据输入与评分作业正确性。②征信审核人工否决评分结果（Override Score Result）分析。③营销活动表现分析。④信用评分模型的稳定度与鉴别度报告等工作。

首先，数据输入作业与信用评分系统设定是最常出错的地方。由于此项作业可能造成信用评分模型预测能力的下滑，也会直接影响到未来监控报告的正确性，因此，银行应有定期的稽核作业，以确保数据输入与申请数据保持一致，有利于早期发现并降低此类错误发生的概率。

其次，征信审核人工干预结果分析也可以提供宝贵的信息，协助并确保业务目标能顺利达成。例如，当报告呈现人工低分否决（Low-Side Override）的比率过高，同时这些人工干预评分案件的质量表现也不佳时，便可修改授信政策，促使征审人员在针对低分案件时进行较严谨的审核。

另外，营销活动的风险评估也可借由项目早期申请的信用评分结果加以衡量，做出实时且正确的修改动作以降低损失提升利润。例如，针对特定族群推出的营销活动，若申请时评分大部分落于低分组，且之后资产质量表现也不佳时，则需要采取紧缩的授信政策，以避免影响整体资产部位的质量；反之，若资产质量表现较佳时，也许可以考虑扩大营销活动的目标客群，以利于提升整体资产部位的质量。

根据以上各项分析信息，我们可将信用评分模型应用于业务执行上，协助判断其中哪个环节（如数据输入、征信审核、营销活动或信用评分模型本身）存在问题或机会，或哪里需要立即改善。

下文将针对观察期间的稳定度（前端监控报告）与表现期间的鉴别度（后端监控报告），分别呈现银行应监控的各项指标报告与建议的标杆值，同时也提供相关范例以供参考。

1. 前段监控报告¶

前端监控报告的目的是观察申请客户（Through-The-Door）或近期客户的类型与信用评分模型的开发样本是否一致，并呈现稳定的形态。

前端监控报告可在信用评分模型系统上线后一个月开始执行，若申请客户或近期客户的数量足够多，可逐月执行前端监控报告；若数量不足，则应至少每季产出前端监控报告，以便于观察客户变化。若客户类型比率发生巨幅变动，应分析其原因（数据输入、征信审核及营销活动等），并提出改善方案，避免信用评分模型失去效能。

常见的前端监控报告有以下几种：（1）评分分布表（Score Distribution Report，SDR）。（2）群体稳定度指标（Population Stability Index，PSI）。（3）变量稳定度分析（Characteristics Analysis）。（4）人工否决分析（Override Stability Analysis，申请评分模型）。（5）数据输入错误率分析（Error Rate of Data Entry）。（6）产品大事记（Portfolio Chronology Log）。

下面将针对各分类进行详细介绍。

1.1 评分分布表（Score Distribution Report，SDR）¶

评分分布表是统计各个评分组别的评分客户数及其占全体户数的比率。以表9-1为例，就开发样本而言，在评分组别500～549中，其客户数占比为11 503/779 402×10%＝1.48%。除列示开发样本时点数据外，评分分布表也会同时列示现行评分时点的数据，以比较不同时点客户评分分布的变化情况。以表9-1为例，现行评分客户（2×10/06）相较于开发样本（2×09/01）时点，即出现“高评分组别占比减少，且客户占比向低评分组别移动”的现象。

除利用评分分布表显示客户评分分布的变化情况外，还可以利用图9-2的评分分布图来呈现观察结果。图中显示现行评分客户（2×10/06）在评分组别650～699中占比最高（逾25%），明显高于同一评分组别中开发样本（2×09/01）时点的占比。同时，评分组别低于650～699的客户也发生现行评分客户（2×10/06）占比高于开发样本（2×09/01）；而评分组别高于650～699的客户则出现现行评分客户（2×10/06）占比低于开发样本（2×09/01）的状况。此现象代表客户占比已由高评分组别转移至低评分组别，其发生原因可参考后续介绍的变量稳定度分析与产品大事记等监控报告，来进行更详细的分析。

1.2 群体稳定度指标（Population Stability Index，PSI）¶

群体稳定度指标（PSI）是用来衡量整体评分卡在开发样本时点与现行评分时点的客户占比的差异程度。PSI指标越小，表示评分客户在两个时点的评分组别占比越稳定；PSI指标越大，则表示评分客户在两个时点的评分组别占比差距越大，母体越不稳定。但PSI指针仅显示母体分布是否产生变动，无法了解母体往高分组组或低分组组移转，需搭配评分分布表才能判断变化方向（见表9-2）。

此外，稳定的母体可能受外部经济等因素影响，而发生鉴别度不足的状况，而缺乏稳定度的母体也不能表示评分模型一定丧失其鉴别力，但此时需要特别注意观察其变化。因此，观察群体稳定度指标时，需搭配评分模型鉴别力指针，才能做出适合的判断与行动方案。

PSI衡量标准如下：（1）PSI≤0.10：母体在两个时点间无明显的变化，需持续执行监控作业。（2）0.10 < PSI <0.25：母体在两时点间有部分变化，需密切观察变化是否扩大。（3）PSI≥0.25：母体在两个时点间有显著的变化，需搭配鉴别度结果进行评分模型的调整。

PSI公式如下：

\[ PSI = \sum_{i=1}^{\text{评分组别}} \text{占比差距}_i \times \text{占比权重}_i \]

式中，各评分组别的占比差距＝现行评分客户时点的客户占比－开发样本时点的客户占比；占比权重＝ln（现行评分客户时点的客户占比/开发样本时点的客户占比）。

除产出当月群体稳定度指标外，也可将各月份执行监控的PSI绘图表示，以便了解趋势变化情况。如图9-3所示，PSI在评分模型导入初期（2×09/02～08）维持在0.1以下，自2×09/09起超过0.1，于2×09/10达到高峰，但尚未超越需调整评分模型PSI≥0.25的衡量标准，然后，随着时间演进上下起伏，并介于0.1～0.25之间，需密切观察母体是否趋于稳定。

1.3 变量稳定度分析（Characteristics Stability Analysis）¶

母体分布出现变化现象并不代表评分模型内所有变量均呈现不稳定的形势，此时可利用变量稳定度分析来了解是什么变量造成的母体偏移。

各变量于不同时点的分布差距计算公式如下：

此变量分布差距的绝对值越大，表示此变量越不稳定；反之，差距的绝对值越小，表示此变量较为稳定。若此变量分布差距为正值，显示现行评分客户与开发样本相比，分布向高分属性移动；若此变量分布差距为负值，则显示现行评分客户与开发样本相比，分布向低分属性移动。

以表9-3为例，性别变量的分布差距为0.32，显示现行评分客户（2×10/06）与开发样本相比（2×09/01）有轻微变化，且此变量分布往高分属性（女性）移动。

以表9-4为例，学历变量的分布差距为1.12，显示现行评分客户（2×10/06）与开发样本相比（2×09/01）有部分变化，且较性别变量显著，而正值的变量分布差距，则反映出分布向高分属性（高学历）移动现象。

以表9-5为例，额度使用率变量的分布差距为-6.29，表示现行评分客户（2×10/06）与开发样本相比（2×09/01）有显著变化；负值的变量分布差距则代表分布向低分属性（高额度使用率）移动。

1.4 人工否决分析（Override Analysis，申请评分模型）¶

为确保信用评分模型能有效运用，可用下述监控指针来观察评分模型与征审人员对于案件风险认知的差距，以了解评分模型的母体是否受到人为因素干扰，导致母体产生不稳定的现象。

高分否决（High-Side Override）：指评分高于核准点应予核准，但经由征审人员加入其他主客观因素后拒绝的案件。
高分否决率（High-Side Override Rate） = 评分高于核准点应予核准但拒绝的案件量 / 评分高于核准点应核准的案件量
低分否决（Low-Side Override）：指评分低于核准点应予拒绝，但经由征审人员加入其他主客观因素后核准的案件。
低分否决率（Low-Side Override Rate） = 评分低于核准点应予拒绝但核准的案件量 / 评分低于核准点应拒绝的案件量

申请评分模型上线前，通常会规范高分否决率与低分否决率的上限。当超过此上限时，便与征审人员进行沟通，以避免失去以评分模型作为信用风险决策的目的。

1.5 数据输入错误率分析（Error Rate of Data Entry）¶

由于评分模型数据的正确性，会直接影响评分决策及评分模型的预测力，因此，可使用以下两项指标作为监控指针，以确保数据输入人员与信息部门能正确无误地进行评分作业。

评分错误率（Score Error Rate）：因数据输入错误或判断错误，而导致错误评分的比率。
关键错误率（Critical Error Rate）：因数据输入错误、判断错误或评分逻辑错误，而导致错误决策的比率。

其中，案件发生评分错误时，并不一定会发生关键性错误。

1.6 产品大事记（Portfolio Chronology Log）¶

所有因评分卡相关政策所采取的行动方案（如营销活动、目标市场、授信政策、推翻评分流程及评分核准点改变等）或外部重大事件发生（如法令规章或影响总体经济等事件），必须记载于文件中并定期维护，以利于后续追踪现行母体在特定时期受到某些因素与事件的影响，从而出现干扰其稳定性的状况。

2. 后端监控报告¶

后端监控报告的目的是为了观察信用评分模型对申请客户或近期客户群体是否仍具备有效的鉴别力。

后端监控报告可在信用评分模型于系统上线一段期间后（可为坏客户的延滞月数或表现期间长度）开始执行。若申请客户或近期客户的数量够多，则可逐月得出后端监控报告；若数量不足，则应至少每季得出后端监控报告，以便观察客户变化。若信用评分模型鉴别力发生显著下降，应分析产生的原因，并提出微调或重新开发信用评分模型等改善方案，避免做出错误的信用决策。

常见的后端监控报告包括以下几类：

好坏客户评分分布表（Score Distribution Report，SDR）。
母体鉴别度指标（KS Value /Gini Coefficient）。
变量鉴别度分析（Characteristics Discrimination Analysis）。
好坏概率与评分分析（Good/Bad Odds vs.Score）。
人工否决表现分析（Override Performance Analysis，申请评分模型）。

下面将针对各个分类进行详细介绍。

2.1 好坏客户评分分布表（Score Distribution Report，SDR）¶

如同前一节所介绍的评分分布表一样，好坏客户评分分布表也是在统计各个评分组别的评分客户数及占全体户数的比率，目的均为呈现两群客户评分分布的差异情况。

但好坏客户评分分布表比较的是同一观察时点的评分客户，表现时点分别为好客户与坏客户两群客户的分布差距（相同时点、不同表现结果的客群），而前一节的评分分布表是比较开发时点与现行评分时点的两群客户的分布差距（不同时点、全体评分客群）。

此外，具有鉴别力的评分模型，其好坏客户评分分布表应呈现出较显著的评分分布差异，以显示其判断好坏客户的能力；而稳定的评分客群，其评分分布表则应该出现较低的评分分布差异。

以表9-6的数字为例，观察时点（2×09/07）评分客户在表现时点（2×10/06）的最终结果可分为好坏客户两群，呈现出好客户大部分为高评分组别，而坏客户大部分为低评分组别的现象。此状况代表信用评分模型具备良好的好坏客户鉴别能力。

除了用好坏客户评分分布表显示客户评分分布差异情况，还可用图9-4的好坏客户评分分布图来呈现观察结果。

图9-4中显示好客户大部分分布在右方高评分组别，坏客户大部分分布在左方低评分组别，与期望相符（获得高评分为好客户、低评分为坏客户），显示此评分模型应具备良好的鉴别力。若客户评分分布图呈现出好客户与坏客户曲线完全重叠的现象，则表示评分模型无法鉴别好坏客户。若客户评分分布图呈现好客户与坏客户曲线完全分开，无重叠现象，则表示评分模型有最佳的鉴别力，但此时需注意评分模型是否有过度配适（Overfitting）的问题。

2.2 母体鉴别度指标（KS Value /Gini Coefficient）¶

母体鉴别度指标是用来衡量评分模型用于判断全体客户好坏的能力。通常可用K-S值（K-S值）与基尼系数（Gini Coefficient）两种衡量指标：当K-S值/基尼系数越大，表示好客户与坏客户于评分组别占比差距越大，即具有较佳鉴别度；K-S值/基尼系数指标越小，则表示好客户与坏客户在评分组别占比差距越小，即鉴别力较差。但K-S值/基尼系数仅显示评分模型在单一评分组别或全部群体的鉴别力，无法分辨各评分组别的鉴别力高低。因此，需搭配好坏评分分布表才能判断各评分组别的鉴别力。

衡量K-S值与基尼系数标杆值如表9-7所示。

2.2.1 KS¶

K-S值概念是各评分组别中，好坏客户累计占比差距最大的数值。若以此数值对应的评分组别作为决策点，则可取得较佳的好坏客户区隔能力。由于K-S值仅表示某单一评分组别的好坏客户差距，不代表所有评分组别的好坏客户分离程度，所以不以差距最大的评分组别为决策点时，需参照如图9-5所示的好坏客户（累计占比）评分分布图，决定适合的决策点，避免降低评分模型的效能。

好坏客户（累计占比）评分分布图是将整体评分客户依据表现时期的状况分为好客户与坏客户两群，再分别绘制个别客群在各评分组别的累计占比曲线。由于坏客户应大部分落在低评分组别中，因此，累计占比曲线会在低评分组别中快速累计，而好客户大部分落在高评分组别中，累计占比曲线会直至高评分组别才快速增加，因此，坏客户累计占比曲线应在好客户累计占比曲线之上。而好坏客户累计占比差距的曲线，则易于判断各评分组别好坏客户的差距，差距最大的数值即为K-S值。

2.2.2 基尼系数（Gini Coefficient）¶

基尼系数是用来衡量评分模型鉴别全体客户好坏能力的一个数值，它不像K-S值，只是用来评估单一评分组别的区隔能力。

Gini曲线又称为洛伦茨曲线，它是依据各评分组别所累计的好客户与坏客户占比，分别作为纵轴与横轴，绘制散布图（Scatter Plot），再将各评分组别的点相连而成。以图9-6为例，Gini曲线为点AGC所形成的曲线，此曲线上各评分组别的坏客户累计占比均高于好客户，与K-S值的好坏客户（累计占比）评分分布图概念相符。

当Gini曲线为线段AC时，代表各评分组别的坏客户累计占比与好客户相同，即评分模型无鉴别能力；当Gini曲线为线段ABC时，代表某一评分组别以下均为坏客户，超过此评分组别的均为好客户，即评分模型具备完全鉴别能力。

通常评分模型Gini曲线（如图9-6的曲线AGC）介于无鉴别能力（线段AC）与完全鉴别能力（线段ABC）之间；当Gini曲线越接近线段AC时，评分模型的鉴别能力越弱；当Gini曲线越接近线段ABC时，评分模型的鉴别能力越强。

因此，基尼系数定义为：

当Gini曲线为线段AC时，Gini值为0%，代表评分模型无鉴别能力；当Gini曲线为线段ABC时，Gini值为100%，代表评分模型具备完全鉴别能力，因此，基尼系数应是0%～100%。

K-S值与基尼系数可通过好坏客户评分分布表加以计算得出（见表9-8）。

在表9-8中，K-S值可由好坏客户累计占比的差距得知最大数值为59.45%，其对应的评分组别为650～699。

基尼系数可先计算各评分组别的斜线面积（梯形面积公式：其中上底为ei-1，下底为ei，高度为fi-fi-1，e0＝f0＝0），加总各评分组别的斜线面积为13.16%，之后代入公式得出基尼系数为73.69%＝（0.5-加总的斜线面积）/0.5。

以上计算的K-S值高于标杆值（30%），基尼系数也高于标杆值（40%），显示不仅个别评分组别具有良好的区隔能力，此评分模型整体也具有良好的鉴别力。

2.3 变量鉴别度分析（Characteristics Discrimination Analysis）¶

母体鉴别能力不足时，并不代表评分模型内所有变量鉴别度均呈现下滑状况。此时，可用变量鉴别度分析来了解是哪些变量造成整体评分模型的区隔力未达标杆值的，从而做出适当的调整动作或重新建立计划。

变量鉴别度可使用信息值VOI（Value of Information）指针进行衡量，变量VOI指针可判断某单一变量在同一时期评分客户经过一段表现期后，所呈现的好坏客户占比的差距程度，若此变量的好坏客户占比有明显差距，则代表此变量具有良好的区隔能力。

变量VOI标杆值如下所述：

指针小于0.02时，代表此变量无预测好坏客户能力。
指标为0.02～0.1时，代表此变量预测好坏客户能力较弱。
指标为0.1～0.3时，代表此变量具有预测好坏客户的能力。
指针大于0.3时，代表此变量预测好坏客户能力非常强。

变量VOI指针与前述变量PSI指针的概念相似，均在比较两个客户群组占比是否有显著差距。不同之处在于变量VOI指针为衡量相同时期好坏两个客户群组的区隔力，因此，此变量VOI指针越高代表鉴别力越强，而变量PSI指针是衡量两个不同时期客户群组的稳定度，因此，此变量PSI指针越低，则表示稳定度越高。

变量VOI指针计算公式如下：

\[ 变量VOI = \sum_{i=1}^{属性} 占比差距_i \times 占比权重_i \]

式中，各属性的占比差距为好客户群组的客户占比-坏客户群组的客户占比；占比权重为ln（好客户群组的客户占比/坏客户群组的客户占比）。

在衡量变量内每一属性区隔好坏客户的能力时，通常是以WOE（Weight of Evidence）判断其鉴别力强弱的。此WOE是观察该属性好坏客户占比的相对差距，也就是具有该属性的客户经过一段时间后可能的好坏比率。WOE计算公式如下：

\[ 属性WOE = ln（好客户占比/坏客户占比） \]

故属性WOE等于上述占比权重×100。

当属性WOE为正值时，代表该属性好客户占比高于坏客户占比；当属性WOE为负值时，代表该属性坏客户占比高于好客户占比。

以表9-9为例，性别的变量VOI为0.0299，显示此变量预测好坏客户的能力减弱。

以表9-10为例，学历的变量VOI为0.1525，显示此变量具有预测好坏客户的能力。

以表9-11为例，额度使用率的变量VOI为0.3205，显示此变量预测好坏客户的能力非常强。

2.4 好坏概率与评分分析（Good/Bad Odds vs.Score）¶

各评分组别的好坏客户比率趋势也是判断评分模型是否具鉴别力的方式。鉴别力良好的评分模型应呈现出高评分组别有较多的好客户及低评分组别有较多的坏客户的状态，即好坏概率（Good/BadOdds）随着评分的升高而有增加的趋势。

好坏概率的计算方式为各评分组别的好客户数除以坏客户数，以表9-12为例，550～559评分组别的好坏概率为21 210/4 307＝4.92。此范例的好坏概率大致随着评分升高而呈现好坏概率逐渐增加的态势， 499评分组别的好坏概率略高于500～549评分组别，应持续观察其后续的变化状况。

由于评分模型最终完成前均经过风险校准，因此，相邻的评分组别的好坏概率应大致呈现倍数成长的变化，但以好坏概率作为观察指标有时不容易发现各评分组别的相对关系变化程度，因此，又可以将好坏概率取自然对数，即ln（好坏概率），来作为另一种观察指标。

分别绘制各评分组别的好坏概率与ln（好坏概率）折线图，如图9-7所示，可发现好坏概率曲线由于各评分组别呈现倍数增加的情况，导致最高评分组别好坏概率过大，并影响到判断低评分组别的好坏概率是否会随着评分升高而增加（Rank-Ordering）的情况。

而ln（好坏概率）则是接近直线，而且各评分组别对应数值差距不大，因此易于判断各组相对关系，由图9-7可发现，低于499评分组别的好坏概率较500～549评分组别略高。

在正常的状况下，各评分组别的ln（好坏概率）相连接后会接近一条直线。此直线越陡峭，表示评分模型高低评分组别的好坏概率差距越大，即具有较佳的鉴别力。

根据图9-8说明，2×09/12的ln（好坏概率）直线斜率较2×08/12与2×09/06更为平缓，代表此评分模型在2×09/12的鉴别力较2×08/12与2×09/06时期低。

而2×08/12与2×09/06为平行的两条直线，表示这两个时期鉴别力相近，所不同的是在同一评分组别下，2×09/06所对应的好坏概率较低，此时可透过修改授信政策的临界点（Cut-off Point）达到与之前相同的效果。以图9-8为例，若在2×08/12制订的决策点为700～749评分组别，为保持资产组合具有相同的好坏概率，则在2×09/06时应上调决策点至750～799评分组别。

2.5 人工否决表现分析（Override Performance Analysis，申请评分模型）¶

以评分模型作为信用风险决策依据时，通常会结合其他信用风险管理政策与征审员的经验判断，以形成最终决定。但人为判断若过于频繁，将可能造成评分模型效益下降，或整体资产质量不如预期的情况。因此，定期检视人工干预评分案件的表现状况，可了解征审人员与评分模型对于风险的判断是否一致，同时也可判别征审人员的决策是否良好。

以表9-13为例，申请案件的核准率随着评分组别越高而增加，显示征审员与评分模型对于风险评估大致相同。而应用评分模型作为决策方式时，通常会为下列两项指标设定上限，以避免人为干预过深：

低于核准点案件的核准率：表9-13中的9.20%[442/（442+4 364）×100%]。
低于核准点案件占全体核准件的核准率：表9-13中的5.06%[442/8 734×100%]。

判断征审人员是否做出正确的决策，可观察低于核准点却被核准的案件经一段表现期后的坏客户率高低。若评分模型具有鉴别能力，则低于核准点的案件，其风险程度应该较高；倘若经征审员仔细核对与评估后仍然核准，表示此类案件是低分案件中风险较低者，应在观察期后呈现较佳的坏客户率。

由表9-13中的数据可以了解，低于核准点的550～599评分组别坏客户率为8.24%，甚至低于600～649评分组别，显示550～599评分组别的核准案件，必定经过征审员精挑细选后才会核准，因此，其坏客户率反而低于600～649评分组别，此现象也说明：评分模型效果有可能会因为征审员的决策而受到影响。