arXiv cs.AI· Madhu Sudhan Rao Beesetty·· 10 小时前AI 评分34
研究揭示 LLM 推理失败分类法的测量局限：答案一致但归因不一致
Agreeing on the Answer but Not the Reason: Measurement Limits of LLM Reasoning Failure Taxonomies
AI 导读
研究定义“组合崩塌”（Compositional Collapse）并在 12 个模型、11 种语言的多语言数学基准（2,316 条评分记录）上测量，发现 50.1% 的失败同时带有多个类别证据，类别占比随分类器测试顺序在 26.4% 至 76.4% 间波动。
正文 · AI 翻译
摘要：关于 LLM 推理的失败分类法越来越多地以测量结果的形式被报告：论文会说明模型错误中落入各命名类别的比例，然后跨模型比较这些比例。我们表明，对于其中一个类别，所报告的比例在很大程度上取决于测量流程本身。我们定义了组合崩塌（Compositional Collapse，即模型注意到问题中某个必需的子部分，随后将其丢弃或误用），并在一个公开的多语言数学基准（2,316 条评分记录）上，对十二个模型和十一种语言进行了测量。第一，50.1% 的失败带有不止一个类别的证据，因此所报告的多数类别取决于分类器检验它们的顺序：调换两项检验的顺序会使十二个模型中的十一个发生改变，而在全部六种顺序下，Collapse 的占比跨度从 26.4% 到 76.4%。第二，一致性在该类别上崩塌，但在任务上并未崩塌。全部十一种语言的母语者对 179 份记录进行了评判，他们在答案正确性上与我们的检查器一致，kappa = 0.932，但在 Collapse 上仅为 kappa = 0.093。每种语言的第二位母语者重新评定了 142 个项目；在 121 个确定配对上，两位人类彼此一致，kappa = 0.659，而他们各自与检查器的一致仅为 kappa <= 0.094。用人类指令原文重新运行同一检查器模型，使其相对于 Human 2 的 kappa 从 0.147 升至 0.636，因此这一差距在很大程度上可归因于提示词，而非模型。第三，检查器标注 Collapse 的频率是母语者的 1.81 倍，但在排除一个有缺陷的基准项目（孟加拉语和中文译本中被删除的一个从句）后，仅为 1.17 倍。我们建议在跨模型比较失败模式比例之前进行四项低成本检查：报告标签共现情况、置换平局决胜规则、在共享的独立样本上验证，以及审查系统性分歧。
| 评论： | 11 页。已被 IEEE CogMI 2026 接收（常规论文） |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.13140 [cs.AI] |
| （或 arXiv:2611.13140v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13140 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Madhu Sudhan Rao Beesetty [查看电子邮件]
[v1]
2026 年 11 月 9 日星期一 19:21:12 UTC（27 KB）
来源：arXiv cs.AI · arxiv.org