跳到正文
arXiv cs.AI· Haochen Shi, Tianwen Fu, Qianggang Ding, Yinhan Lu, Yizhan Li, Huan Zhang, Yajie Zhao, Xingdi Yuan, Hengyang Lu, Bang Liu·· 3 天前AI 评分26

输入条件搜索 ICS:递归推理器的高效测试时扩展方法

Input-Conditioned Search for Efficient Test-Time Scaling of Recursive Reasoners

AI 导读

研究者提出 Input-Conditioned Search(ICS),无需额外训练,通过对输入条件进行搜索,为同一潜在状态诱导出不同的更新映射,从而探索多样化推理轨迹。在六项推理任务上,ICS 取得最高平均准确率,所需模型 FLOPs 比所评估的扩展基线最多少两个数量级。理论分析与数值验证表明,ICS 能在局部消除错误的吸引不动点。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:人们通常通过更深入地思考或探索更多可能性来解决难题。类似地,递归推理器通过反复将学习到的更新规则应用于潜在状态进行推理,也可以通过更多更新(深度)或通过扰动潜在状态生成的额外轨迹(宽度)来扩展推理。当人们在思考中走入死胡同时,他们可能会退后一步,从新的角度处理问题。然而,递归推理器的深度扩展和基于扰动的宽度扩展都无法可靠地实现这一点:两者都可能收敛到错误的吸引子。为了解决这个问题,我们提出通过对同一潜在状态应用不同的更新映射来探索多样化的推理轨迹,而无需任何额外训练。我们通过 \emph{输入条件搜索(ICS)} 实现了这一想法,它搜索输入条件以从预训练推理器中诱导出替代的更新映射。在六项推理任务中,ICS 实现了最高的平均准确率,同时所需的模型 FLOPs 比所评估的扩展基线少多达两个数量级。受控实验证实,ICS 可以从同一状态重定向轨迹。我们的理论分析和严格的数值验证也证实,ICS 可以在局部消除错误的吸引不动点。总之,这些发现确立了 ICS 作为高效测试时扩展的有效轴,并激发了对训练和测试时塑造递归推理的进一步研究。
学科: 人工智能(cs.AI)
引用为: arXiv:2610.18547 [cs.AI]
  (或 arXiv:2610.18547v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.18547

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Haochen Shi [查看电子邮件]
[v1] 2026年10月13日星期二 15:25:26 UTC(7,265 KB)

来源:arXiv cs.AI · arxiv.org