马克斯·普朗克研究：开启推理让LLM答案更趋同，错误也更一致

Rohan Paul· @rohanpaul_ai · X·2026-11-05 18:25· 47 分钟前AI 评分44

AI 导读

马克斯·普朗克论文发现，开启推理后不同LLM的一致性上升，连错误也更趋同。作者用9个Qwen和GPT模型在3个基于美国人口普查调查的预测任务上测试，开启推理后全部9个模型都答错的人群比例上升2.0至2.4个百分点；对推理链最长的人群，校正后一致性降至约0.31至0.39。作者建议在涉及人的决策中检查模型集合里是否有人能给出正确答案，因为更高一致性也可能意味着更多共同错误。

正文 · 原文

马克斯·普朗克新论文发现，开启推理会让不同LLM更加一致，甚至在错误上也更趋同，而长推理链则标记出它们产生分歧的地方。

当多个LLM评判同一个人时，一个模型的错误答案或许可以通过换用另一个模型来纠正。但这只有在模型不会都犯同样错误时才有效。

作者在3个基于美国人口普查调查构建的预测任务上测试了9个Qwen和GPT模型，分别开启和关闭推理。他们测量了超出各模型单独准确率所能预测的一致性。

开启推理后，模型之间更加一致，全部9个模型都答错的人群比例上升了2.0至2.4个百分点。对于推理链最长的人群，校正后的一致性降至约0.31至0.39。

对于涉及人的决策，要检查你的模型集合中是否有人能给出正确答案，因为更高的一致性也可能意味着更多共同错误。

来源：Rohan Paul · x.com