指标监控¶
https://haiercash.feishu.cn/docx/Y4Red7yaVoJ5b1x4W7lcqWbgnNe
在自研AI催收机器人上线后，构建一套全面的监控指标体系是保障业务效果的重要基石，一方面它能够直观地反映自研与厂商AI之间的回收差异；另一方面，借助多维度的漏斗拆解，帮助业务快速洞察转化流失点，驱动催收策略与AI模型的敏捷迭代。
本篇文章以S0阶段（逾期1-3天）为例，从业务目标、用户分层、外呼触达、通话质量、通话延时、合规质检、成本运营六个关键维度，全面解析如何搭建一套可落地、可追踪的AI催收机器人的监控指标体系，为模型迭代与优化提供核心抓手。
1. 业务目标¶
业务核心指标应始终以回收率作为北极星指标，它是衡量一个AI催收机器人是否足够优秀的最直接体现。此外，通过自研与厂商AI之间的回收率差异，结合其他维度进行深度分析，从而确定模型的后续优化方向。
1.1 逾期回收率¶
回收的口径一般有MTD回收、Vintage回收以及每日回收，在不同时间节点开启测试以及过程中时是否需要调整，所选择的回收率观测口径都会有所不同：
- 月初1号测试 & 月中不调灰度：测试与对照组都可以从逾期1天案件开始观测回收数据，那么使用MTD回收率的口径比较合适，它能让我们直观地了解到截止当前的回收率。
- 月初9号测试 & 月中不调灰度：大部分情况下业务需要在月中开始测试，原本“S0-AI-厂商”已经从1号开始测试了，从9号需要切一定灰度（10%）给到“S0-AI-自研”。无论是新案件的10%，还是“厂商”队列案件随机10%给到“自研”，都需要从x号开始，“厂商”和“自研”队列以MTD回收率观测新案的回收数据。
- 月初9号测试 & 月中多次调灰度：如果是月中需要根据回收效果多次调整测试灰度，那么MTD回收口径就不再适合，建议采用Vintage回收率作为观测指标。
- 如果在16号“自研”队列的灰度从新案 10%提升到20%，那么测试对照的在催资产结构就会有变化，MTD口径下“自研”的逾期结构是更占优势的。
-
如果灰度是随机 10%提升到20%，那么恭喜你成功给自己制造了一个大麻烦，一方面是“自研”队列自己有逾期1天迁移2-3天的案件，另外一方面还有一些案件会从“厂商”队列分配过来2-3天案件，“自研”队列的2-3天案件数据就会很脏。
这种分案方式下，如果单纯地剔除从“厂商”队列分配到“自研”的2-3天案件，也会造成数据没有对比性，因为剔除后“厂商”逾期1天催回的案件比例变多（“厂商”只有逾期1天未催回的案件才会以2-3天的形式分给“自研”），理论上还要剔除掉逾期14-15号因随机数变化的案件。一种处理方式是采用Vintage回收率，即所有逾期案件都追走完3天观测期，且9-15号入催案件数据只观测截止到15号回收数据，16号开始追两个队列的新案回收数据。
“厂商”队列为什么不从1号开始观测
“厂商”队列的MTD回收必须从9号开始观测的新案，是因为如果从1号就开始观测，对照组已经有一波案件完整走完3天观测期，那么两边的在催资产结构不一样，天然的回收会存在差异。
新案10%还是随机10%
建议使用新案10%的方式分配案件给“自研”，如果采用随机10%的分配方式，那么会出现一个数据问题，“厂商”逾期2-3天案件也会按照10%比例随机分配给“自研”，一方面是“厂商” x号之前的数据无法观测完整；另外一方面是“自研”MTD回收不能包含这波2-3天案件，因为在“厂商”逾期1天没有催回来的案件，才会以10%方式分配给“自研”。
Vintage口径的优与劣
Vintage口径的优势在于它只统计走完观测期的样本，并且两个队列是从逾期1天的案件开始追回收表现，这样不会受到逾期天数分布的结构影响。当然，它的劣势也很明显，模型和策略做完动作后必须等3天后才能开始评估整体效果，存在一定的滞后性。为了能观测到策略和模型调整后回收是否有改善，我们可以将每天的回收率作为辅助指标。
叠加其他维度的回收率
回收率可以拆分逾期金额段（1k+、1k-）、逾期天数维度来观测，从而定位模型在哪个方面存在劣势。
1.2 承诺还款率¶
1.3 跳票率¶
1.4 部分还款转化率¶
1.5 答应转告率（联系人）¶
2. 用户分层¶
3. 外呼触达¶
3.1 号码质量类¶
- 号码有效率
- 号码非本人率
3.2 接通触达类¶
- 案件触达率
- 拨打接通率
- 主动挂断率
- 一秒挂断率
4. 通话质量¶
- 平均通话时长
- 平均通话轮次
- ASR准确率
- TTS拟人度
- 话术准确率
- 标签准确率