arXiv cs.CL· David Berghaus, Arber Zela, Behzad Shomali, Markus Frey, Mehdi Ali, Rafet Sifa, Volkan Cevher·· 11 小时前AI 评分38
RELOAD：用循环层扩展类型化决策模型的推理能力
Extending Reasoning in Typed Decision Models via Looping
AI 导读
针对类型化决策模型单次前向无法增加测试时计算的问题，RELOAD 通过在中间层块上施加阻尼循环并与决策模型联合训练，让预训练编码器或解码器获得推理增益。在 0.4B 至 4B 参数的六个模型上，循环同时提升准确率与校准度，编码器在超出训练分布的长推理链问题上最高提升 23 分。轻量控制器按输入自适应选择循环次数，以约四分之三的计算量保留大部分增益。
正文 · AI 翻译
摘要：类型化决策模型在单次前向传播中从一组固定的答案选项中进行选择，因此与生成式语言模型不同，它们无法通过生成更多 token 在困难输入上花费更多测试时计算。循环一组层可在潜在空间中提供这种计算而不增加参数，但先前的工作发现，将循环改造到按常规预训练的模型中并无收益。我们表明，当循环与决策模型一起训练时，这种循环是有帮助的。我们的方法 RELOAD（用于自适应决策的改造循环）通过在其中间块上施加阻尼循环来微调预训练的编码器或解码器，并由一个轻量级控制器为每个输入自适应地选择通过次数。在从 0.4B 到 4B 参数的六个模型上，循环同时提升了准确率和校准，主要是在需要比训练中见过的任何推理链都更长的问题上，其中编码器最多提升 23 个点。无论是匹配训练计算量还是更多数据都无法弥合这一差距，而为每次通过使用单独的层只有在参数几乎翻倍时才能接近。控制器在约四分之三的计算量下保留了大部分收益。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.07736 [cs.CL] |
| （或此版本的 arXiv:2611.07736v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2611.07736 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：David Berghaus [查看电子邮件]
[v1]
2026年11月5日星期四 09:46:17 UTC（244 KB）
来源：arXiv cs.CL · arxiv.org