arXiv cs.AI· Ming Shen, Tianjun Yao·· 11 小时前AI 评分42
并非所有测试时计算都是证据：LLM 推理中的模型特定偏差
Not All Test-Time Compute Is Evidence: Model-Specific Bias in LLM Reasoning
AI 导读
研究指出，同一推理模型重复采样、加深推理深度及自我评估产生的错误彼此相关，测试时扩展所假设的“更多计算即更多独立证据”并不成立。为此提出 DIA（Disagreement-triggered Independent Arbitration），将中间阶段与最终阶段预测的分歧视为推理不稳定的逐题信号，交由一组异构小模型在不见候选答案的情况下独立求解并直接聚合。
正文 · AI 翻译
摘要：测试时扩展方法隐含地假设，来自同一模型的额外计算能提供独立证据。我们证明这一假设在单个推理模型内并不成立：错误在重复采样之间、在推理深度上、以及在模型自身的自我评估中都是相关的，因此来自同一模型的更多计算并不等于更多证据。我们提出 DIA（分歧触发的独立仲裁），它将中间阶段与最终阶段预测之间的分歧视为每个问题推理不稳定的信号，并通过让一小群异构模型在看不到任一候选答案的情况下独立求解该问题、直接聚合它们的答案来解决这一分歧。在七个基准和两个基础模型上，DIA 在 14 种设置中的 12 种里优于完整思维链，包括在 MuSiQue 上获得 7.00% 的提升，同时仅在约 17% 的样本上激活，且相比多智能体基线最多少用 47.2% 的 token。消融实验表明，独立求解和求解器异构性对于这些收益都是必要的。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.23213 [cs.AI] |
| （或 arXiv:2610.23213v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23213 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ming Shen [查看邮箱]
[v1]
2026年10月16日星期五 09:48:02 UTC（1,352 KB）
来源：arXiv cs.AI · arxiv.org