arXiv cs.CY· Mila Gorecki, Moritz Hardt·· 10 小时前AI 评分34
推理会让语言模型更一致吗？arXiv 研究区分“推理干预”与“推理行为”
Does Reasoning Make Language Models Agree?
AI 导读
一项 arXiv 研究区分“推理作为干预”与“推理作为可观察行为”，在来自两家开发者的九个模型和三个分类任务上发现：开启推理会提高模型对同一个体的预测一致性，但推理链更长的个体反而获得更不一致的跨模型预测，两种模式在控制准确率差异后依然成立。
正文 · AI 翻译
摘要：语言模型面临两个相互对立的隐忧：单一化，即模型以相互关联的方式出错；以及多样性，即同样准确的模型做出相互冲突的决策。推理模型的兴起使这一争论更加复杂：一方面，如果模型锚定于相同的显著特征或遵循相似的推理路径，推理可能会提高模型之间的一致性。另一方面，随机性的推理轨迹可能引入额外的分支点，从而导致更多样化的预测。我们通过区分作为干预的推理与作为观察行为的推理来化解这一矛盾。我们将受控改变推理努力程度下的一致性，与观察到的推理长度之间的一致性进行比较，并以模型准确率所预期的一致性作为衡量基准。在来自两家开发者的九个模型和三项分类任务上，启用推理会提高在相同个体上评估的模型之间的一致性。然而，那些引发更长推理轨迹的个体，在不同模型之间获得的预测一致性更低。在考虑准确率差异之后，这两种模式依然存在。因此，要求模型进行更多推理会促进一致性，而观察到模型推理更长则预示着分歧。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2610.41691 [cs.LG] |
| （或 arXiv:2610.41691v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41691 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mila Gorecki [查看电子邮件]
[v1]
2026年10月30日星期五 12:57:53 UTC（1,445 KB）
来源：arXiv cs.CY · arxiv.org