Laya置信度分数重校准教程发布

Mohammed Nayeem Khan 与 Aliyas Ahmad Misri 发布了一套针对类型化决策模型 Laya 的置信度分数重校准教程，给出测量、诊断、拟合、验证、部署五步、130 行 numpy 方案，所用均为标准方法。 作者称，在 1,065 条合成、由 LLM 标注的题目上，已发布 Laya checkpoint 的合并 ECE 为 0.073，但按桶（按题型与选项数分组）取平均的 macro-ECE 为 0.143（区间 0.127–0.184）：12 选项桶过度自信 +0.22，3–5 选项桶欠自信 0.05，两者相互抵消。按桶交叉拟合温度后，macro-ECE 降至 0.073（10 次折分配下为 0.078），每桶仅用 10 条标注数据时为 0.089；但留出 7 个评估集之一时回升至 0.099。 作者还称，这些文件中重训 checkpoint 未存每桶表，存储的 12 选项值 0.1006 在运行时被截断到 0.5；重拟合在随机折上对 33 个 checkpoint 中的 31 个有效，留出一集时为 21 个。由于拟合与测试共用同一生成器和 LLM 标签，上述结论仅适用于这些 checkpoint 和这份数据。

AI 根据报道生成 · 10 小时前更新