arXiv cs.CL· Federico Torrielli, Peter Schneider-Kamp, Lukas Galke Poech·· 12 小时前AI 评分26
激活预言机的置信度与校准：让语言模型内部表征解读更可靠
Confidence and Calibration of Activation Oracles for Reliable Interpretation of Language Model Internals
AI 导读
研究对比了五种估计激活预言机置信度的方法，覆盖 Qwen 和 Gemma 两个模型家族、8B 至 27B 参数的四个预言机，在秘密单词任务上每种组合测试 6000 个样本。
正文 · AI 翻译
摘要：激活预言机是一种经过训练的语言模型，用于将另一个模型的激活转换为自然语言。然而，目前尚不清楚这些言语化在多大程度上是经过校准的。关键在于，预言机的言语化不附带任何置信度度量。在此，我们比较了五种估计激活预言机置信度的方法。我们的实验涵盖来自两个模型家族（Qwen 和 Gemma，参数量从 8B 到 27B）的四个预言机，在秘密词任务上进行测试，即预言机应恢复一个已被微调进模型但不出现在模型输出中的秘密词。我们每种方法/预言机组合使用 $6{,}000$ 个样本的结果表明，最佳校准取决于假设空间或校准集是否可用：当假设的审计员能够提前列出可能答案时，预言机应直接对每个候选答案打分。对候选答案打分在每个预言机上都能获得更高的准确率，并且其置信度在区分正确与错误答案方面优于任何其他方法。当预言机必须以自由文本形式写出答案时，对二十个采样答案的一致性给出校准最佳的置信度，且只需五个带标签的秘密词即可调优。当有校准集可用时，答案的重新缩放概率与重采样效果相当，代价是只需一次生成而非二十次。另一方面，要求预言机为其置信度写一个数字，在任何预言机上都不提供有用信号。代码和打过补丁的训练器可在 此 https URL 获取。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.26045 [cs.CL] |
| （或 arXiv:2605.26045v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.26045 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Federico Torrielli [查看电子邮件]
[v1]
2026年5月25日星期一 17:08:47 UTC（1,381 KB）
[v2]
2026年8月3日星期一 15:43:52 UTC（365 KB）
[v3]
2026年10月22日星期四 12:57:10 UTC（3,487 KB）
来源：arXiv cs.CL · arxiv.org