arXiv cs.CL· Purva Pruthi, Andrew Yuan, Alexander D'Amour, David Jensen·· 10 小时前AI 评分34
评估 Transformer 的组合泛化能力：组合等价性与模块覆盖的作用
Evaluating Compositional Generalization in Transformers: The Role of Composition Equivalence and Module Coverage
AI 导读
系统评估发现，仅在最终输出上训练的 direct 模型在组合泛化基准上的表现主要来自利用组合等价性——不同模块序列归约为相同端到端函数。当基准消除这些等价性后，模型性能显著下降，无法泛化到已知模块产生新端到端函数的组合。模块覆盖偏移增大时性能单调下降，同时影响 direct 模型与逐步模型；以 Llama3-8B 在 LiveCodeBench 代码输出预测任务上的表现为例验证了组合等价性的作用。
正文 · AI 翻译
摘要：组合泛化是分布外泛化的一种重要形式，定义为能够在模块的某些组合（例如 sort、filter 等函数）上训练，然后泛化到未见过的组合。尽管已有大量实证工作评估 transformer 中的组合泛化，但研究结果并不一致，因为评估往往在有限且以临时方式定义的训练-测试划分上进行。通过系统性评估，我们识别出训练-测试分布中强烈影响性能的两个关键方面：组合等价性和模块覆盖。我们表明，直接模型（仅在最终输出上训练）的表面性能主要来自利用组合等价性，即不同的模块序列归约为相同的端到端函数。当基准消除这些等价性时，性能显著下降，表明它们无法泛化到已知模块的组合以产生新的端到端函数。我们进一步证明，随着模块覆盖偏移增加（当模块在训练和测试之间出现在不同上下文中时），性能单调下降，这同时影响直接模型和逐步模型（在中间输出和最终输出上训练）。这些发现对基准设计具有具体意义：包含组合等价性的基准可能导致对直接模型泛化能力的显著高估，而同时包含模块覆盖违规和组合等价性的基准可能加剧捷径学习。作为案例研究，我们展示了组合等价性对预训练模型 Llama3-8B 在编码基准 LiveCodeBench 中代码输出预测任务上泛化性能的作用。
| 评论： | 第 40 届神经信息处理系统大会（NeurIPS 2026）。评估与数据集方向 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.13498 [cs.LG] |
| （或 arXiv:2611.13498v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13498 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Purva Pruthi [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 03:09:02 UTC（1,657 KB）
来源：arXiv cs.CL · arxiv.org