arXiv cs.CL· Ilia Zaznov·· 11 小时前AI 评分26
面向循环 Transformer 的因果潜在工作区
Causal Latent Workspaces for Looped Transformers
AI 导读
研究者提出因果潜在工作区 Transformer，一种锚定的四轮共享深度架构，每个位置将门控向量写入前缀专属潜在槽，并在下一轮共享块前检索内容寻址摘要。
正文 · AI 翻译
摘要：在深度方向上复用同一个 Transformer 块，可以在不复制其参数的情况下增加计算量，但连续多次传递并没有专门的状态，让各个位置能够交换其因果前缀的紧凑摘要。我们提出因果潜在工作区 Transformer：一种锚定的、四轮共享深度架构，其中每个位置将门控向量写入前缀特定的潜在槽，并在下一次应用共享块之前检索一个内容寻址的摘要。这条路径补充了因果自注意力，同时原始输入嵌入在每一轮仍然可访问。在三个字节级语料库、三个随机种子和两个匹配的参数预算下，所提出的模型在六种设置中的五种里，相对于五个 Transformer 对照组取得了最佳的平均留出困惑度。在 101.71M 参数下，它在 WikiText-103 raw、enwik8 和 TinyStories 上领先，困惑度分别达到 2.7820、2.7843 和 1.6823；相比每个语料库上最强的非工作区对照组，分别提升了 1.06%、0.73% 和 1.01%。在该预算下，全部九个带种子标签的对比都支持工作区。在 0.918M 参数下，它在 WikiText-103 和 TinyStories 上领先，而在 enwik8 上条件循环更强。架构消融实验表明，添加工作区在全部六种设置中都优于锚定循环，并支持在每一轮刷新其因果摘要。总之，这些结果将因果的、内容可寻址的前缀工作区确定为循环 Transformer 的一种有效结构增强。
| 评论： | 20 页，5 幅图。代码与可复现材料：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22796 [cs.CL] |
| （或 arXiv:2610.22796v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22796 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ilia Zaznov [查看电子邮件]
[v1]
2026 年 10 月 16 日星期五 01:16:58 UTC（167 KB）
来源：arXiv cs.CL · arxiv.org