arXiv cs.AI· Jucheng Shen, Barbara Su, Anastasios Kyrillidis·· 13 小时前AI 评分31
共享权重循环 Transformer 的涌现分工：Asymmetric Input Recurrence 研究
One Model, Two Roles: Emergent Specialization in a Shared Recurrent Transformer
AI 导读
研究在 Asymmetric Input Recurrence（AIR）双状态推理架构中发现，同一个共享权重 Transformer 在 Sudoku-Extreme 和 Maze 上自发分化出两种角色：z_H 表现为完全确定的提案状态，z_L 保留局部不确定性与中间结构。
正文 · AI 翻译
摘要：一个共享权重的循环 Transformer——即反复将同一个 Transformer 应用于更新不断演化的潜在状态——能否在不被划分为独立模块的情况下发展出不同的内部角色？我们在非对称输入循环（AIR）中研究这一问题，这是一种极简的双状态推理架构，其中同一个 Transformer 模型被复用于两种更新（按文献记为 L 和 H），而更新规则中唯一的内置差异在于：编码后的输入在 L 更新时被注入，而在 H 更新时不注入。在 Sudoku-Extreme 和 Maze 上，解码出的 rollout 揭示出一致的分化：$z_H$ 表现得像一个完全确定的提议状态，而 $z_L$ 则保留局部不确定性以及不断变化的中间结构。冻结干预为两个状态之间的动力学依赖提供了证据，其响应随任务、干预方向和随机种子而变化。消融实验表明，要诱导出专门化，共享模型需要能够区分两种更新类型，这可以来自输入注入的非对称性，也可以来自一个单独的层级 token。在机制层面，注意力分析表明，在 Sudoku 和 Maze 中，L 更新始终比 H 更新更具局部性。综合来看，这些结果表明，在双状态循环设定中，一个清晰的状态身份信号可以在共享参数的循环 Transformer 内部诱导出稳定且相互关联的功能角色。代码可在 此 https URL 获取。
| 评论： | 已被 NeurIPS 2026 接收。29 页，18 幅图，13 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；优化与控制（math.OC） |
| 引用为： | arXiv:2605.17811 [cs.LG] |
| （或 arXiv:2605.17811v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.17811 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jucheng Shen [查看邮箱]
[v1]
2026 年 5 月 18 日星期一 03:36:58 UTC（5,329 KB）
[v2]
2026 年 10 月 28 日星期三 20:53:46 UTC（2,818 KB）
来源：arXiv cs.AI · arxiv.org