arXiv cs.CL· Rotem Elimelech, Michael Shalyt, Ido Kaminer·· 10 小时前AI 评分34
Catch It Where It Happens：在 LLM 推理过程中实时纠错
Catch It Where It Happens: Real Time Error Correction During LLM Reasoning
AI 导读
研究者提出一种在线确定性验证方法，用代码在 LLM 写出推理步骤时实时校验，无需模型调用或占用 GPU，检查失败即指出错误并让模型从原处继续。在符号数学的 ASyMoB 基准上测试三个开源权重模型，准确率提升 1.4-5.6 个百分点，错误答案净减少 1.8-14.9%，token 用量仅增加 6-7%。验证器独立于模型，可与 LLM 进步互补。
正文 · AI 翻译
摘要：大型语言模型（LLM）正越来越多地被委以数学、科学和工程工作，然而它们的错误往往写得自信满满，且难以察觉。一个错误的步骤往往会传播开来，使模型在错误的前提下浪费推理 token。现有的防护措施要么只检查最终答案并从头重新开始，要么依赖验证器 LLM，而后者会争抢 GPU 容量并拖慢响应时间。我们提出在线、确定性的验证：许多类型的推理步骤都可以用代码来验证，因此一个步骤可以在写出的同时被实时验证，无需任何模型调用或 GPU 使用。每当检查失败时，我们指出错误，并让模型从同一位置继续。我们在符号数学上演示了这种方法，其中的推导已经包含显式表达式，计算机代数系统可以在毫秒内完成检查。在 ASyMoB 基准上使用三个开放权重模型进行测试，我们的在线验证将准确率提高了 1.4-5.6 个百分点，相当于错误答案净减少 1.8-14.9%，而 token 使用量仅增加 6-7%。由于验证器独立于模型，该方法与 LLM 的进步相辅相成而非相互竞争：每个新模型都能立即受益，并且随着确定性检查器扩展到更多类型的推理步骤，收益还会增长。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.13107 [cs.CL] |
| （或 arXiv:2611.13107v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2611.13107 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ido Kaminer [查看邮箱]
[v1]
2026年11月9日星期一 19:00:40 UTC（461 KB）
来源：arXiv cs.CL · arxiv.org