arXiv cs.CL· Jonas Knupp, Jan Hendrik Metzen, Jeremias Bohn, Georg Groh, Kristian Kersting·· 11 小时前AI 评分38
Dreamer：深度循环注意力混合框架让潜在推理更高效
Depth-Recurrent Attention Mixture (Dreamer): Giving Latent Reasoning the Attention it Deserves
AI 导读
研究者提出深度循环注意力混合框架 Dreamer，将序列注意力、深度注意力与稀疏专家注意力结合，通过沿深度方向的注意力缓解隐藏维度瓶颈。在语言推理基准上，达到与 FLOP、参数和内存匹配的 SOTA 相同准确率所需训练 token 减少 2 至 8 倍，相同训练 token 下性能超过约 2 倍大的 SOTA 模型。其专家选择多样性比 SOTA MoE 高 2 至 11 倍。
正文 · AI 翻译
摘要：深度循环通过在各深度间共享参数来促进潜在推理。然而，先前的工作缺乏在 FLOP、参数和内存上均匹配的基线，由于层堆栈部分固定而未能充分利用深度循环，并且忽视了恒定隐藏层大小这一瓶颈，该瓶颈限制了许多步的潜在推理。为解决这一问题，我们引入了一个深度循环注意力混合的模块化框架（Dreamer），结合了序列注意力、深度注意力和稀疏专家注意力。它通过沿深度方向的注意力缓解了隐藏层大小瓶颈，解耦了缩放维度，并使深度循环模型能够高效且有效地扩展。在语言推理基准上，与 FLOP、参数和内存匹配的 SOTA 相比，我们的模型在达到相同准确率时所需的训练 token 少 2 到 8 倍，并且在相同训练 token 下优于约 2 倍大的 SOTA 模型。我们进一步展示了对跨深度知识利用的见解，例如，显示出比 SOTA MoE 大 2 到 11 倍的专家选择多样性。
| 评论： | NeurIPS 2026 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2601.21582 [cs.AI] |
| （或此版本的 arXiv:2601.21582v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2601.21582 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jonas Knupp [查看电子邮件]
[v1]
2026年1月29日星期四 11:44:38 UTC（968 KB）
[v2]
2026年11月5日星期四 10:23:39 UTC（271 KB）
来源：arXiv cs.CL · arxiv.org