arXiv cs.CL· Davide Baldelli, Sruthi Kuriakose, Maryam Hashemzadeh, Amal Zouaq, Sarath Chandar·· 6 天前AI 评分32
语言模型的概率校准是一种可通过微调训练的能力
Probabilistic Calibration Is a Trainable Capability in Language Models
AI 导读
研究团队通过微调让语言模型学会按目标分布采样，提出软目标（将目标分布转为 trie 派生的下一 token 目标）与硬目标（在目标分布的采样补全上训练）两种 Calibration Fine-Tuning 方法。
正文 · AI 翻译
摘要：语言模型越来越多地被用于输出应遵循某一预期分布的场景，但其生成概率往往与该分布校准不佳。在许多此类请求中，分布是隐式的，且有效输出无法事先列出，因此该任务无法交给外部随机数生成器。我们研究这一能力能否通过微调直接得到改善。具体而言，我们在需要从数学分布中采样的合成提示上微调语言模型，并比较两种校准微调变体：一种软目标方法，将期望输出分布转换为由 trie 导出的下一 token 目标；以及一种硬目标方法，在同一目标分布的采样补全上进行训练。在涵盖四个系列的 12 个模型上，两种方法都显著提升了在留出分布系列和未见参数设置上的结构化采样保真度，表明在廉价的合成数学分布上训练可以改善对未见分布的采样，即使在自然语言中也是如此。这些增益还能迁移到更广泛的随机生成基准，包括开放式随机生成——微调后的模型将其首 token 支持范围扩大了一到两个数量级——以及 NoveltyBench。这些增益有时会降低下游能力，尤其是算术推理，代价因模型而异。总体而言，我们的结果表明，概率校准可以通过使用任一目标的微调得到改善，并且从数学分布中学到的校准可以迁移到自然语言随机生成。代码见 此 https URL。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.11845 [cs.CL] |
| （或 arXiv:2605.11845v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.11845 由 DataCite 颁发的 arXiv DOI |
提交历史
发件人：Davide Baldelli [查看电子邮件]
[v1]
2026年5月12日星期二 09:28:24 UTC（1,120 KB）
[v2]
2026年10月9日星期五 13:57:35 UTC（1,221 KB）
来源：arXiv cs.CL · arxiv.org