arXiv cs.CL· Alexandre Quemy·· 10 小时前AI 评分18
研究揭示 token 表征的深度流动呈非线性，且不沿自身密度下降
The Depth Flow of Token Representations Is Nonlinear and Does Not Descend Its Own Density
AI 导读
研究将 Pythia-160M 与 Pythia-410M 的语料均值轨迹拟合为离散 Langevin 模型，发现二次漂移在两个模型每一层转换上都优于线性映射。均值轨迹的单步近似仿射（仅 3% 非仿射），单个状态则达 17%；漂移下降的是一个势函数而非自身对数密度，旋转分量占可解释漂移的 4% 至 45%。token 在全部十三层、两个语料和两个模型上均保持角排名与局部密度排名。
正文 · AI 翻译
摘要：一个 token 的表示会逐层通过网络传递。整个词表一同携带，形成一种流。我们在 Pythia-160M 和 Pythia-410M 的语料均值轨迹上，将该流的运动方程拟合为离散 Langevin 模型，并在留出 token 上对预测步进行评分。线性映射常被用作某一层的廉价替代。它们所概括的流并非线性：二次漂移在两个模型的每一次转移中都优于线性映射，而 Kramers-Moyal 估计器在其邻域保持局部时与之吻合。在完整宽度下，均值轨迹的步长近乎仿射，非仿射部分为 3%，而单个状态的步长则不然，为 17%。随后我们进一步刻画该流。首先，我们表明无论扩散矩阵如何，它都不会沿自身的对数密度下降。相反，漂移下降的是一个并非密度的势函数。其次，旋转分量不可忽略，占可解释漂移的 4% 到 45%，且它是线性映射的反对称部分。最后，在两个语料库和两个模型上，一个 token 在全部十三层中都保持其角度秩和局部密度秩。
| 评论： | 已被 NeurIPS 2026 神经表示中的对称性与几何研讨会（NeurReps）接收，Proceedings Track，将发表于 PMLR。9 页正文加附录。代码与结果：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2608.29706 [cs.CL] |
| （或 arXiv:2608.29706v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.29706 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Alexandre Quemy [查看邮箱]
[v1]
2026 年 8 月 30 日周日 10:22:00 UTC（651 KB）
[v2]
2026 年 10 月 30 日周五 08:58:46 UTC（656 KB）
来源：arXiv cs.CL · arxiv.org