arXiv cs.AI· Gerard Grau Garc\'ia, Arnau Padr\'es Masdemont, Niccol\`o Grillo, Jordi Ros-Giralt, Arash Behboodi, Victor Conchello Vendrell·· 9 天前AI 评分26
LLoCoT：用循环 Transformer 实现非自回归潜在推理
From Chain-of-Thought to Loops: Non-Autoregressive Latent Reasoning via Looped Transformers
AI 导读
LLoCoT 是一个循环潜在推理框架，用对紧凑潜在工作区的迭代精炼取代从左到右的潜在向量生成，共享 Transformer 经少量迭代联合更新潜在槽位，再由概率头并行采样潜在 token 以条件化自回归解码器生成答案。
正文 · AI 翻译
摘要：思维链（CoT）推理通常通过在回答前为模型提供额外计算来提升语言模型性能。然而，显式 CoT 将这种计算表达为自回归生成的 token 序列。潜在推理用紧凑的连续状态替代这些 token，但大多数自回归潜在推理方法在潜在向量之间保留了从左到右的依赖关系。我们提出 LLoCoT：一种循环潜在推理框架，用对紧凑潜在工作区的迭代精炼替代从左到右的潜在生成。一个共享 transformer 被重新应用少量精炼迭代，基于提示和不断演化的工作区状态联合更新潜在槽位。利用精炼后的状态，一个概率头预测分布，从中并行采样潜在 token，并用于条件化自回归解码器以生成答案。训练使用源自显式 CoT 的连续表示，以及最终答案预测损失和基于似然的潜在状态监督。在 HumanEval 和 MBPP 上，LLoCoT 在所评估方法中取得最高均值，准确率与我们的显式 CoT 基线 Reasoning SFT 相当，同时优于基础模型、仅答案 SFT 和 NF-CoT。相对于 Reasoning SFT，LLoCoT 将首个答案 token 的时间缩短约 $36\times$，将推理阶段延迟缩短约 $42\times$，同时将端到端吞吐量提高 $9.2\%$。该设计用并行潜在槽位精炼替代串行思维生成，同时保留概率潜在建模和自回归答案解码。
| 评论： | 9 页，1 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.11472 [cs.AI] |
| （或 arXiv:2610.11472v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11472 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Arnau Padrés Masdemont [查看邮箱]
[v1]
2026 年 10 月 8 日星期四 08:21:31 UTC（182 KB）
来源：arXiv cs.AI · arxiv.org