arXiv cs.AI· Jianghong Zhou, Hao Rong, Chen Lin·· 4 小时前AI 评分38
推理模型为何越思考越错:识别有害的过度思考
Conserved Verdicts, Drifting Commitments: Identifying Harmful Overthinking
AI 导读
研究提出用“承诺”(当前停止时的答案正确概率)与“裁决”(最终答案正确概率)的差值来判断推理模型是否该停止思考,指出仅靠最终正确性探针无法完成这一比较。在 MATH-500 上,DeepSeek-R1-Distill-Qwen-1.5B 在 379 个已持有正确答案的点上继续思考平均损失 3.6 分(95% CI [2.2, 5.2]),且损失集中在少数题目。
正文 · AI 翻译
摘要:一个已经得出正确答案的推理模型,可能会因为继续思考而失去这个答案。判断是否停止,意味着在推理链的同一点上比较两个概率:如果现在停止,模型将给出的答案是正确的(即其承诺),以及它最终完成的答案是正确的(即其裁决)。我们表明,仅凭裁决——即最终正确性探针所估计的内容——无法完成这一比较。作为对固定结果的预测,它没有可预测的漂移,无论继续思考是有益还是有害。承诺与裁决之间的差距,等于答案质量的预期剩余变化,以及通过停止所获得的准确率。第二个恒等式将任何准确率-预算曲线分解为链内答案的变化,以及仍在运行的链的变化。我们在 MATH-500 上对两者进行了测量。在 DeepSeek-R1-Distill-Qwen-1.5B 持有正确答案的全部 379 个点上(这些点不考虑其推理链如何结束而被选中),继续思考平均损失 3.6 分(95% CI [2.2, 5.2]),且损失集中在少数问题上。在来自三个家族的六个推理模型中,在 MATH-500 和 OlympiadBench 上,预算最高达 16,384 个 token 时,准确率曲线下降源于哪些链仍然保留,而仍在推理的链则保持或提高了其答案。一个预言机停止规则在 1.5B 和 7B 上最多分别获得 +1.8 和 +2.5 分。该框架说明了在构建停止规则之前应该测量什么。
| 评论: | 40 页 |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL);机器学习(cs.LG) |
| 引用为: | arXiv:2611.21946 [cs.AI] |
| (或 arXiv:2611.21946v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.21946 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Jianghong Zhou [查看电子邮件]
[v1]
2026 年 11 月 16 日星期一 22:08:54 UTC(633 KB)
来源:arXiv cs.AI · arxiv.org