两层 Transformer 学排序会收敛到两类算法，仅一类能长度泛化

Transformers Learn Two Competing Sorting Algorithms, and Only One Length-Generalizes

AI 导读

在排序任务上训练至近零损失的两层 Transformer 会依初始化收敛到两类机制不同的解法：一类不使用第二层注意力，无法长度泛化；另一类同时使用两层注意力，仅在固定长度序列上训练却能完美长度泛化。研究者通过选择权重初始化可将模型导向任一解法，并将训练长度下罕见、长序列下渐多的输入类型识别为泛化差异来源。在求序列最小值任务上出现类似的两类解法现象，但泛化模式相反。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：我们表明，在排序任务上训练至接近零损失的两层 Transformer 会依据其初始化收敛到两类机制上截然不同的解之一。其中一类解不使用第二层注意力进行排序，但也无法实现长度泛化。另一类解则同时使用两层注意力，尽管仅在固定长度的序列上训练排序，却能完美地实现长度泛化。通过精心选择权重初始化，我们证明可以将模型引导至学习其中一种解或另一种解。我们识别出在训练长度下罕见、但在更长序列长度下愈发常见的输入类型，是造成这种长度泛化差异的一个来源，并发现第二类解的分层特化使其能够更准确地处理这些罕见序列。在第二类解中，我们发现了一种机制，第二层注意力可利用第一层注意力所收集的上下文信息来缩小其搜索空间。在寻找序列最小值的相关任务上，我们发现了类似的两类解现象，但泛化模式相反：一种不同形式的分层特化使得两层解的长度泛化效果不如单注意力解。

学科：	机器学习（cs.LG）；计算与语言（cs.CL）
引用为：	arXiv:2610.26974 [cs.LG]
	（或 arXiv:2610.26974v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.26974 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Huangyuan Su [查看邮箱]
[v1] 2026年10月18日星期日 20:21:16 UTC（21,550 KB）

来源：arXiv cs.CL · arxiv.org