跳到正文
arXiv cs.CL· Maor Farid·· 9 小时前AI 评分34

大语言模型作为非线性动力系统:深度、训练与生成的三重时钟

Large Language Models as Nonlinear Dynamical Systems: The Three Clocks of Depth, Training, and Generation

AI 导读

研究者将约200篇论文凝练成“三重时钟词典”,把15个非线性动力学概念映射到Transformer的层迭代、训练步和生成token三个维度,并标注每项对应关系为已证明、已测量或推测。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:语言模型是动力系统。Transformer 在其各层上、在其训练的各个步骤上以及在其生成的各个 token 上被迭代,而在这三个时钟中的每一个上,它都表现出非线性动力学已研究了一个世纪的行为:不动点、分岔、同步、混沌以及噪声驱动的势阱逃逸。这两个领域很少交汇,因此这种行为常常以新的名称被重新发现。我们在它们之间架起一座桥梁。为了描述,我们将约 200 篇论文浓缩为三时钟词典,该词典将非线性动力学的十五个概念映射到每个时钟上,并将每一处对应关系标记为已证明、已测量或已猜想,我们还将每个概念在机械系统和语言模型中并排展示。为了解释,我们推导降阶模型:softmax 是玻尔兹曼分布,梯度下降是非线性弹簧上的欧拉步,损失尖峰是被抛出刚性谷底的球,圆上的注意力是 Kuramoto 模型,重复循环是一个在被占据时不断加深的井。然后我们在开放语言模型上、在笔记本电脑 CPU 上检验这些解释。GPT-2 和 Pythia 中从重复循环的逃逸遵循阿伦尼乌斯定律,以 logit 差距作为势垒,而势垒先加深然后饱和,因此离开循环所需的温度随生成长度 $N$ 像 $1/\ln N$ 一样下降,并随模型规模上升。连贯文本存在于一个狭窄的温度窗口内,一个小型推理模型在其推荐温度下也共享这一窗口。训练使每个 Pythia 层更加扩张,而一个小型 transformer 在多模态稳定性边缘处训练。第三步,解决语言模型的问题,仍在前方:从逃逸分析推导出的控制器消除了循环,但尚未胜过最佳的固定温度。我们陈述了十二个开放问题,非线性动力学可以在这些问题上取得进展。
评论: 52 页,19 幅图。代码和数据:此 https URL
主题: 机器学习(cs.LG);计算与语言(cs.CL);动力系统(math.DS);混沌动力学(nlin.CD)
引用为: arXiv:2611.21983 [cs.LG]
  (或 arXiv:2611.21983v1 [cs.LG] 为此版本)
  https://doi.org/10.48550/arXiv.2611.21983

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Maor Farid [查看电子邮件]
[v1] 2026 年 11 月 16 日星期一 23:11:52 UTC(847 KB)

来源:arXiv cs.CL · arxiv.org