arXiv cs.CL· Heng Zhao, Yufei Wang, Ruidian Song, Weisheng Chen·· 11 小时前AI 评分31
高维层状态轨迹揭示 Transformer 推理的内部动态
High-dimensional layer-state trajectories reveal the internal dynamics of transformer inference
AI 导读
研究将 Transformer 推理中按层顺序展开的层状态轨迹作为可测量的计算过程，在 Qwen、Llama 和 Gemma 检查点上，真实层序路径与端点弦的对齐度是保持端点随机打乱的 1.60–2.24 倍。
正文 · AI 翻译
摘要：对大型语言模型的机制研究将功能定位在参数、注意力头或神经元中，但这些部分并未说明一次推理是如何展开的。我们将有序的层状态轨迹视为经验过程，并检验层序是否定义了一种可测量的计算。在具有代表性的 Qwen、Llama 和 Gemma 检查点上，实际实现的顺序所产生的路径与其端点弦的对齐程度是保持端点不变的随机打乱所得路径的 1.60--2.24 倍。顺序效应可迁移到一项词汇任务，但在同一 Qwen 架构的三个随机初始化中更强，这表明存在一种与架构兼容的支架，而非训练特有的规律。直接隐藏状态提供了比词汇回读更强的机制坐标，而任务定义的坐标使候选竞争变得可计算。在加性干预失败后，局部转移执行器在多个检查点上选择性地控制了内部轨迹。随后，一个置信门驱动 87 条留出 Qwen 闭合轨迹中的 17 条越过全词表 top-1 候选边界，同时使所有 203 个非闭合 top-1 输出保持不变。安全匹配的动作重分配表现类似，将增益定位于选择性门控和有界执行器族，而非细粒度剂量分配。层序揭示了一个可观察、可计算且具有行为后果的 transformer 推理过程，但并未建立完整的 LLM 动力学理论，也未实现对答案正确性的控制。
| 评论： | 扩展预印本，含 17 幅主图和 13 幅补充图。源数据和代码归档于 Zenodo |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.26866 [cs.LG] |
| （或 arXiv:2610.26866v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.26866 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Heng Zhao Edward [查看电子邮件]
[v1]
2026年7月15日星期三 00:02:19 UTC（1,695 KB）
来源：arXiv cs.CL · arxiv.org