arXiv cs.AI· Pawel Olszowiec, Paulina Tomaszewska, Maciej \.Zelaszczyk, Michal Byra, Neo Christopher Chung·· 3 天前AI 评分23
循环语言模型潜在推理机制监测研究
Monitoring latent reasoning in looped language models
AI 导读
研究构建了基于机制可解释性的五视角检查协议，对四个家族的八个循环语言模型进行分析，区分了提示仅在循环状态内传递的 carry loops（Ouro、LoopUS）与每次迭代重新提供提示的 re-read loops（Parcae、Raven 家族的 Rec-OLMo 和 Huginn）。结果揭示了循环语言模型在安全性和高效使用方面的关键洞察。
正文 · AI 翻译
摘要：循环语言模型（LM）在每次 token 生成时重复使用同一组层，有望在不增加额外存储成本的情况下实现更多潜在计算。尽管其日益流行，但对循环 LM 的分析仍处于起步阶段：人们对其迭代变换是否真正提升了模型能力，或这些模型在提示扰动下是否保持稳定，知之甚少。我们构建了一套植根于机制可解释性的检查协议，包含五个不同的视角。我们将其应用于考察来自四个家族的八个循环 LM。这些模型在许多方面存在差异，但关键差异在于提示是仅在循环状态内传递（携带循环：Ouro、LoopUS），还是在每次迭代时重新提供（重读循环：Parcae，以及 Raven 家族的 Rec-OLMo 和 Huginn）。我们的研究结果为循环语言模型的安全性和高效使用提供了有价值的见解。
| 评论： | 39 页，25 幅图，11 张表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| ACM 分类： | I.2.0；I.2.7 |
| 引用为： | arXiv:2610.18127 [cs.AI] |
| （或 arXiv:2610.18127v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18127 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Pawel Olszowiec [查看电子邮件]
[v1]
2026 年 10 月 13 日星期二 10:39:05 UTC（1,501 KB）
来源：arXiv cs.AI · arxiv.org