arXiv cs.AI· Karl Hanna, Chen Feng·· 3 天前AI 评分27
LLM 多选题评测中准确率与顺序敏感性为何会背离
A, B, C, or Stable? Accuracy and Order Sensitivity Diverge in LLM Multiple-Choice Evaluation
AI 导读
研究用两个闭源模型和两个开源权重模型在 MMLU 与 ARC-Challenge 上测试四类策略，发现准确率与顺序敏感性并不一致变化：两阶段提示词在 MMLU 上降低了 GPT 的翻转率和 RStd，准确率却无显著变化。
正文 · AI 翻译
摘要：多项选择题（MCQ）基准被广泛用于评估大语言模型，但单一报告的准确率数字不足以区分模型的潜在能力与顺序敏感性。去偏方法往往只在一个维度上被评判，这隐含地假设修复顺序敏感性与提升准确率是同步的。我们在 MMLU 和 ARC-Challenge 上，用两个专有模型和两个开放权重模型，跨四类策略检验了这一假设。我们用翻转率衡量顺序敏感性，捕捉逐题不稳定性，并用召回率标准差（RStd）捕捉总体位置不平衡。我们发现准确率与顺序敏感性并不一致地同步变化：两阶段提示在 MMLU 上降低了 GPT 的翻转率和 RStd，而准确率没有显著变化。这两个敏感性指标也彼此背离。在直接回答中加入推理后，Llama 在 MMLU 上的翻转率在统计上无法区分，而 RStd 急剧下降。一个针对“先生成后匹配”的 $2\times2$ 消融实验，将选项可见性与匹配器类型交叉，表明隐藏选项主要损害语义匹配，后者按构造实现零翻转率，却在准确率上显著损失；使用 LLM 匹配器时该效应较小。我们建议在评估 MCQ 策略时，将翻转率和 RStd 与准确率一并报告。
| 评论： | 提交至 ARR，目标为 NAACL2027。代码见 此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.11947 [cs.CL] |
| （或 arXiv:2608.11947v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.11947 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Karl Hanna [查看电子邮件]
[v1]
2026年8月12日星期三 11:34:45 UTC（77 KB）
[v2]
2026年10月10日星期六 23:56:33 UTC（79 KB）
来源：arXiv cs.AI · arxiv.org