arXiv cs.CL· Haonan Huang, Yuwei Lu, Chengkun Cai·· 11 小时前AI 评分31
同一判断，不同“是”：测量语言模型的多语言判断画像
Same Judgment, Different Yes: Measuring Multilingual Judgment Profiles in Language Models
AI 导读
研究从八个模型、六种语言收集 110 万条回复，在最多 105 个道德情境题上改变提问形式、答案约束与读取方式（token 或句子），考察不同提问与读取方式何时还原同一判断。
正文 · AI 翻译
摘要：多语言评估通常只对模型开头的 yes 或 no 打分，而这一 token 同时承载着模型与语言的作答惯例。我们追问：当以不同方式引出并读取答案时，何时能还原出相同的判断，何时又只是在测量一种作答习惯。我们收集了八个模型、六种语言、至多 105 个道德情境下的 110 万条回复，变化问题的形式、答案的约束条件，以及回复的读取方式（token 或句子），并覆盖两种措辞（FAR-6 测试组）。除在预设映射下读取否定疑问句后的 yes/no token 这一情形外，故事层面的判断画像在所测试的读取方式与问题形式之间趋于一致：在相同回复上，token 画像与句子画像在各单元格上的中位一致性为 r = 0.67，而句子画像与自由句子画像的一致性为 0.94，这是一种已知的语言变异性。在去除每种语言的故事共识后，在命题标签下，48 个模型-语言单元格中有 39 个模型的画像与其自身在另一语言中的画像最为接近，在自由句子下为 15 个，而随机期望为 5 个。虚词、位置与命名术语的偏好则遵循各自的模式。模型可以保持其判断不变而改变其 yes：要对该 token 打分，就需要确定它究竟肯定了哪个命题。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28066 [cs.CL] |
| （或 arXiv:2610.28066v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.28066 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuwei Lu [查看邮箱]
[v1]
2026年10月20日 星期二 11:50:08 UTC（14,677 KB）
来源：arXiv cs.CL · arxiv.org