arXiv cs.CL· Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Hwiyeong Lee, Taesup Kim·· 11 小时前AI 评分31
多语言 P(True) 自评估中问题、回答与验证器语言如何相互影响
Disentangling Question, Response, and Verifier Languages in Multilingual P(True) Self-Evaluation
AI 导读
研究在六语言因子设计中独立变化问题语言、回答语言与验证器指令语言，用 10 个 3B-14B 开源权重模型在 LSQA、MMMLU 和 TriviaQA 上以首 token P(True) 探针测量置信度。
正文 · AI 翻译
摘要：当要求语言模型判断其自身答案是否正确时，会涉及三种语言：问题的语言、要求回答所用的语言，以及要求给出判断的验证器指令的语言。多语言置信度评估很少将这三者区分开。我们在六语言析因设计中独立变化这三种语言，使用十个开放权重模型（3B-14B），在 LSQA、MMLU 和 TriviaQA 上进行实验，保持每个答案在验证器语言间固定，并用首 token P(True) 探针测量置信度。这三种语言影响评估的不同部分：其中哪一种主导准确率取决于基准；将回答语言与问题或验证器语言匹配会提高区分度，但不改善校准；仅验证器语言一项就能使校准误差变化最多 0.04，而准确率不变。评分器也很重要：一个未经验证的评判器本会将 MMMLU 的英语-印地语准确率差距从 0.198 缩小到 0.038。因此，多语言置信度结果（包括模型排名）只有在报告全部三种语言并验证评分器时才具有可比性。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32144 [cs.CL] |
| （或 arXiv:2610.32144v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32144 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Je Won Yeom [查看电子邮件]
[v1]
2026年10月23日星期五 04:20:43 UTC（119 KB）
来源：arXiv cs.CL · arxiv.org