研究：组合等价与模块覆盖影响Transformer泛化评测

Purva Pruthi 等作者发表系统评估研究，指出仅在最终输出上训练的 direct 模型在组合泛化基准上的表现，主要来自利用“组合等价性”——不同模块序列归约为相同端到端函数。当基准消除这些等价性后，模型性能显著下降，无法泛化到由已知模块产生新端到端函数的组合。 研究还发现，模块覆盖偏移增大时性能单调下降，direct 模型与逐步模型均受影响。作者以 Llama3-8B 在 LiveCodeBench 代码输出预测任务上的表现验证了组合等价性的作用。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。