arXiv cs.AI· Jianguo Huang, Yao Long Teng, Yanchen Deng, Bo An·· 3 天前AI 评分31
System One 模型的顺序不变决策：Runoff 方法
Consider, Then Choose: Order-Invariant Decisions in System One Models
AI 导读
针对 System One 模型在选择题中答案依赖选项顺序的问题，研究者提出 Runoff 方法：先对每个选项单独打分保留少量候选，再让每个候选遍历所有位置进行比较，无需训练、两次前向传播即可完成，构造上保证答案与选项顺序无关。在两个开源模型和五个数据集上，Runoff 在打乱选项后答案零变化，而循环平均法变化达 9.3%；20 个选项时准确率相当且快三到四倍。
正文 · AI 翻译
摘要：System One 模型通过单次前向传播回答输入的问题，并承诺对相同输入给出相同答案。对于选择题，这一承诺并不成立：答案取决于选项的顺序，且随着选项数量增加，这种依赖愈发明显，而对选项的循环移位取平均只能减弱这种依赖，无法消除它。单独对每个选项打分（顺序无法影响该分数）表明，顺序改变答案主要发生在模型对其前几个选项拿不准的时候，尽管列表式答案看起来很有把握。因此我们提出 $\textbf{Runoff}$，它先考虑再选择：单独为每个选项打分以保留少数候选，然后在让每个候选占据所有位置的列表中对它们进行比较。它无需训练，可在两次前向传播中运行，且其答案在构造上不依赖于选项顺序。在两个开源模型和五个数据集上，它在打乱选项时答案不变，而循环平均法有 9.3% 的答案改变；在 20 个选项时，它的准确率大致相当，且快三到四倍。将其应用于八个 System One 模型，它消除了五个基准测试的顺序依赖性，而循环平均法最多改变 15.4%。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.18233 [cs.AI] |
| （或 arXiv:2610.18233v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18233 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jianguo Huang [查看电子邮件]
[v1]
2026年10月13日星期二 12:02:46 UTC（192 KB）
来源：arXiv cs.AI · arxiv.org