arXiv cs.CL· Kutay Tire, Atula Tejaswi, Haris Vikalo, Sujay Sanghavi·· 3 天前AI 评分31
INTACT：在冻结骨干模型上诱导潜在推理
INTACT: Inducing Latent Reasoning on a Frozen Backbone
AI 导读
INTACT 用小型外部编码器为冻结骨干模型诱导潜在推理，将隐藏状态迭代映射为潜在推理前缀，再由冻结模型输出文本推理与答案。在 1B 至 8B 的四个冻结骨干上，GSM8K 准确率从 75.8% 提升至 79.3%（Llama-3.2-3B）、从 77.6% 提升至 79.7%（Qwen2.5-3B），Llama-3.2-3B 端到端延迟降低 19%。
正文 · AI 翻译
摘要：潜在推理用紧凑的连续“软 token”表示取代自然语言思维链，减少了必须自回归解码的中间 token 数量。我们使用一个小型外部编码器在冻结的主干模型中诱导潜在推理。该编码器迭代地将主干模型的隐藏状态映射到新的潜在块，构建一个潜在推理前缀，之后冻结模型将其剩余推理和答案以文本形式写出。我们的方法 INTACT 通过蒸馏训练该编码器，以复现书面推理步骤的效果，同时使模型行为接近冻结主干模型，然后针对答案正确性对其进行强化。在从 1B 到 8B 的四个冻结主干模型上，INTACT 同时提升了 GSM8K 和平均域外准确率，包括 Llama-3.2-3B 上 GSM8K 从 75.8% 提升到 79.3%，以及 Qwen2.5-3B 上从 77.6% 提升到 79.7%。它还将 Llama-3.2-3B 上每个问题的端到端延迟降低了 19%，并在 3B 和 8B 规模上优于所评估的潜在推理基线。在数学场景之外，同一配方在多领域语料上训练后，无需任务特定适配即可在涵盖数学、科学和常识的十二个评估基准上改进冻结主干模型。
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.19568 [cs.CL] |
| （或 arXiv:2610.19568v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19568 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Kutay Tire [查看电子邮件]
[v1]
2026年10月14日星期三 04:35:34 UTC（251 KB）
来源：arXiv cs.CL · arxiv.org