arXiv cs.CL· Yi Ding, Mengyu Wang, Min Zhou, Menglin Yang·· 3 天前AI 评分27
REWIND：面向测试时推理的不确定性引导轨迹修复
REWIND: Uncertainty-Guided Trajectory Repair for Test-Time Reasoning
AI 导读
针对推理早期错误会约束后续生成的问题，研究者提出免训练控制器 REWIND，利用 token 熵动态定位并重新生成推理后缀。在 MATH500 上，Qwen2.5-Math-7B 的错误回答平均 token 熵比正确回答高约 112%。在三个模型家族和五个基准上，REWIND 超越所有基线，较最强基线提升 0.51-10.00 个百分点，代码已开源。
正文 · AI 翻译
摘要：生成推理中的早期错误会制约后续所有推理。重复生成方法（如基于 MCMC 的方法）试图通过对多次生成进行采样来提升输出质量，但其效果可能因随机选择重新生成的位置而受限。在 MATH500 上使用 Qwen2.5-Math-7B 时，我们发现错误回答的平均 token 熵显著高于正确回答，问题内平均相对增幅约为 112%，这表明熵可以指示推理错误。受此发现启发，我们提出了 REWIND，一种无需训练的控制器，利用熵动态来提出有针对性的后缀重新生成。在三个模型系列和五个基准测试上，REWIND 优于所有基线，相比最强基线提升了 0.51-10.00 个百分点。这些结果证明了有针对性的、不确定性引导的轨迹修复在不同模型和任务上的有效性。我们的代码可在 此 https URL 获取。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.19561 [cs.CL] |
| （或 arXiv:2610.19561v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19561 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yi Ding [查看邮箱]
[v1]
2026年10月14日星期三 04:20:56 UTC（139 KB）
来源：arXiv cs.CL · arxiv.org