两层Transformer学排序收敛两类算法，泛化能力不同

Khashayar Gatmiry等作者发表的论文称，在排序任务上训练至近零损失的两层 Transformer 会依权重初始化收敛到两类机制不同的解法：一类不使用第二层注意力，无法长度泛化；另一类同时使用两层注意力，仅在固定长度序列上训练却能完美长度泛化。 研究者称，通过选择权重初始化可将模型导向任一解法，并将训练长度下罕见、长序列下渐多的输入类型识别为泛化差异来源。在求序列最小值任务上也出现类似的两类解法，但泛化模式相反。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。