ROM：通过流式检测与干预实时缓解大推理模型过度思考

查看 PDF HTML（实验性）

摘要：大型推理模型（LRM）常常存在过度思考的问题，即使在得出正确答案后仍继续进行冗余验证和反复尝试。这会浪费计算资源，并可能推翻最初正确的答案。我们表明，从生产性推理到冗余推理的转变可以从后层隐藏状态中解码出来。这些表征在首次正确解边界附近将两个阶段区分开来，其区分能力超出了位置和词汇控制所能解释的范围，并且能够区分正确与错误的解结尾。基于这一发现，我们提出了 ROM（实时过度思考缓解），它使用一个轻量级流式检测器（占主干参数的 0.07--0.25\%）来监控冻结的 LRM，并在格式良好的推理边界处进行干预，无需答案提取或探针解码。反事实自我纠正（CSC）通过错误$\rightarrow$正确的轨迹来增强检测器训练，以保留有用的自我纠正能力。各检测头使用共享的 MATH500 监督信号为每个主干分别训练，并零样本迁移到四个未见过的基准上。在来自三个家族的五个主干和五个基准上，与十个基线进行评估对比，ROM$_{\text{CSC}}$ 将响应长度减少 28--77\%（平均 45\%），在全部 25 种设置中均有显著减少，并且在 22 种设置中准确率与普通解码持平或更高。在两个主干上的测量进一步表明，端到端延迟降低 20--70\%，每个解码步骤的检测器开销低于 0.5\%。代码可在此 https URL 获取。

学科：	机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）
引用为：	arXiv:2603.22016 [cs.LG]
	（或 arXiv:2603.22016v4 [cs.LG] 查看此版本）
	https://doi.org/10.48550/arXiv.2603.22016 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Xinyan Wang [查看邮箱]
[v1] 2026年3月23日星期一 14:26:57 UTC（6,373 KB）
[v2] 2026年5月9日星期六 22:19:27 UTC（936 KB）
[v3] 2026年8月10日星期一 05:45:00 UTC（343 KB）
[v4] 2026年10月29日星期四 01:29:42 UTC（770 KB）