arXiv cs.CL· Thea Aviss·· 9 天前AI 评分27
State Stream Transformer (SST) V2：面向隐空间推理的非线性循环并行训练
State Stream Transformer (SST) V2: Parallel Training of Nonlinear Recurrence for Latent Space Reasoning
AI 导读
State Stream Transformer (SST) V2 通过每个解码器层的 FFN 驱动非线性循环，将隐状态沿全序列水平流式传递，实现连续隐空间中的参数高效推理。
正文 · AI 翻译
摘要：当前 Transformer 在位置之间丢弃了其丰富的潜在残差流，在每个新位置重建潜在推理上下文，从而未充分利用潜在的推理能力。State Stream Transformer（SST）V2 通过在每个解码器层中由 FFN 驱动的非线性递归，在连续潜在空间中实现参数高效的推理，其中潜在状态通过学习到的混合沿整个序列水平流动。这一相同机制在推理时支持每个位置的连续潜在深思，将额外的 FLOPs 用于在确定 token 之前探索抽象推理。两遍并行训练过程近似了顺序递归，使协同训练在计算上可行。隐藏状态分析表明，状态流通过在连续潜在空间中进行尖锐的、依赖内容的重组来促进推理；LM 头通过输出分布暴露由此产生的潜在信念状态，而状态流将它们向前传递以影响未来位置。一个学习到的探针表明，在第一个生成的 token 处，潜在状态已经能够预测最终答案是否会在每个后续位置的额外潜在计算下存活或崩溃。仅使用 GSM8K 示例的小型数据集协同训练到现有的 27B 主干中，并使用 oracle 将每个问题路由到每个 token 一到四次递归前向传递的深度进行评估，SST 在分布外 GPQA-Diamond 上实现了 61.11% 的架构容量上限，比微调匹配的基线提高了 +15.15 个百分点，并将该基线剩余的 GSM8K 错误减少了 46%。总之，这些结果为高效训练非线性递归提供了一种方法，并表明状态流提供了超出其他训练匹配的 Transformer 的额外推理能力。
| 评论： | 51 页，21 张图。添加了精确递归验证实验，以及更详细的训练和推理成本；澄清了架构容量评估并修正了平坦深度过度思考分析。主要结果不变 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.00206 [cs.LG] |
| （或 arXiv:2605.00206v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.00206 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Thea Aviss [查看电子邮件]
[v1]
2026 年 4 月 30 日星期四 20:30:28 UTC（5,472 KB）
[v2]
2026 年 10 月 7 日星期三 22:13:04 UTC（5,476 KB）
来源：arXiv cs.CL · arxiv.org