Transformer 残差流中推理的几何结构

研究通过将中间残差状态与自身最终状态及其他上下文的最终状态库对比，考察 Transformer 语言模型如何逐步形成特定预测。在六个预训练语言模型上，自身终点比平均替代项更早占优，但许多单个终点仍更接近；这些竞争集合通常随深度收缩，其成员不断变化，存活的终点也未必一致。