跳转至

AI催收：意图和话术打标的数据验证

针对 M1 话术体系运营专项，已根据梳理的意图和话术标签列表（详见文档 M1话术体系运营）同步给科技。通过在轮次维度上对历史数据进行打标以及构建的节点话术漏斗，进一步分析话术优化的方向。

基于打标功能以及数据，需推进的重点事项如下：

  1. 验证标签准确率：随机挑选 50-100 通录音转写文本进行数据打标，并验证不同轮次下的标签准确率。
  2. 历史数据回溯：回溯 9 月份自研 AI 外呼录音的打标数据，建立节点话术漏斗。
  3. 话术漏斗分析：分析不同轮次下的意图和话术分布，重点先分析 1-2 之间的漏斗数据。

打标准确率的重要性

如果在节点上打标准确率过低，那建立的话术漏斗就没啥意义，后续的漏斗分析更是无稽之谈。

1. API接口使用

通过在 HiAgent 搭建 “催收对话小结——多标签” 智能体（@田宇）对录音数据进行打标，具体 API 接口的使用方法可参考以下案例。

接口示例
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
import json
import requests as rq

LLM_API_URL = "https://hiagent-ai.haierxj.com/api/proxy/api/v1/sync_run_app_workflow"
LLM_API_KEY = "d9a892d4shhc72upi06g"

def llm_infer(record_info: dict):
    """使用大模型进行推理"""

    result = rq.post(
        LLM_API_URL,
        headers={
            "Content-Type": "application/json",
            "Apikey": LLM_API_KEY,
        },
        "InputData": json.dumps(record_info),
    )
    return result.json()

def run_test():
    """运行测试案例"""
    sample_record = {
        "id": "test123",
        "dialogue": [
            {"speaker": "坐席", "content": "你好，海尔消费金融的，请问是郁明敏先生么？"},
            {"speaker": "用户", "content": "啊，什么事？"},
            {"speaker": "坐席", "content": "你是郁明敏本人么？"},
        ],
        "call_time": "1999-01-01 01:01:01",
    }
    llm_result = llm_infer(sample_record)
    print(llm_result)

run_test()

2. 回溯标签数据验证

历史数据回刷在 haier_f.t05_mmxd_t_coll_asr_result_c 的 metadata 字段中，数据结构如下所示：

{
    "label_with_turn_ids": {
        "工资未到账": [11, 13],
        "有还款意向无时间": 17
    },
    "utterance_level_dialogue_label": [
        {"index": 0, "intent": "", "utter": "_询问身份"},
        {"index": 1, "intent": "", "utter": ""},
        {"index": 2, "intent": "", "utter": "_强调逾期天数"},
    ]
}

字段

目前 metadata 字段轮次信息并没有对应的 role 角色，需后续进行优化。