一个下午重新校准类型化决策模型：Laya 置信度分数的实操教程

查看 PDF

摘要：像 Laya 这样的类型化决策模型会读取一段文本和调用方定义的选项列表（例如工单类别），并为每个选项返回一个概率。其外围代码会将最高概率与阈值进行比较，以决定回答、弃答或转交人工处理。此前的工作报告称，对于一个土耳其语模型，温度缩放可能会提高留出集上的校准误差（ECE）。本教程给出了一个五步流程（测量、诊断、拟合、验证、部署），用 130 行 numpy 和标准方法实现，没有任何新方法。在 1,065 条合成的、由 LLM 标注的条目上，已发布的 Laya 检查点的合并 ECE 为 0.073，但分桶宏平均 ECE 为 0.143（0.127-0.184），即各桶（按问题类型和选项数量分组）的平均值：12 选项桶过度自信 +0.22，三到五选项桶信心不足 0.05，二者相互抵消。单一全局温度会使合并 ECE 变差（0.173）；按桶进行交叉拟合温度可将宏平均 ECE 降至 0.073（在 10 次折分配上为 0.078），并且在每个桶有 10 条标注条目时达到 0.089，但留出七个评估集之一时结果为 0.099。重新拟合后，一个以 10% 错误率为目标的门控回答了 46.3% 的条目（10.5% 错误），而在已发布置信度上仅为 6.9%；但在已发布置信度上按桶设置一个截断值可回答 45.4%，因此大部分收益来自对桶的区分。仅基于置信度的映射（Platt、直方图、等渗）需要每个桶至少 20 条标注条目才能接近温度缩放；每个桶有 320 条时，宏平均 ECE 最低的是 Platt。在这些文件中，重新训练的检查点不存储按桶的表，且存储的 12 选项值 0.1006 在运行时被截断为 0.5；重新拟合在随机折上对 33 个检查点中的 31 个有帮助，在留出一个集合时对 21 个有帮助。拟合和测试共享同一个生成器和 LLM 标签，因此这些是关于这些检查点和这些数据的发现。

提交历史

来自：Aliyas Ahmad Misri [查看电子邮件]
[v1] 2026 年 11 月 12 日星期四 09:02:57 UTC（2,015 KB）