arXiv cs.AI· Davide Venuto, Leonardo Venuto·· 13 小时前AI 评分29
GPT-2 类模型的隐式推理：通过训练分布设计弥合组合性差距
Implicit Reasoning in Transformers: Bridging the Compositionality Gap in GPT-2-like Models
AI 导读
一项受控实验用从零训练的 GPT-2 类 Transformer 研究两跳推理中的组合性差距，发现该差距并非架构固有限制。研究者在不改架构、不加 OOD 组合监督的前提下，将 ID 与 OOD 原子事实按与组合电路第二跳检索位置对齐的格式呈现，模型成功把已学的 ID 组合行为迁移到留出的 OOD 原子事实上，弥合了差距。
正文 · AI 翻译
摘要：组合泛化仍然是 transformer 语言模型的一个持续存在的局限：即使模型学会了在分布内（ID）正确组合已知事实，当把同样的组合机制应用于分布外（OOD）知识时也可能失效。我们在一个受控的两跳推理设置中研究了这一组合性差距，使用一个从零开始训练的类 GPT-2 transformer 模型。基于先前识别出与组合泛化相关的电路的工作，我们检验 OOD 迁移的失败是否与训练期间原子知识在结构上的呈现方式有关。我们修改了训练分布，将 ID 和 OOD 原子事实都以与所学组合电路第二跳检索步骤位置对齐的格式呈现，而不修改模型架构或添加 OOD 组合监督。在这一干预下，模型成功地将学到的 ID 组合行为迁移到留出的 OOD 原子事实上，弥合了受控设置中观察到的组合性差距。我们的结果提供了证据，表明所观察到的组合性差距并非根本性的架构局限，并且可以通过机制指导下的训练分布设计来克服。
| 评论： | 代码见：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.39016 [cs.CL] |
| （或 arXiv:2610.39016v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39016 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Davide Venuto [查看邮箱]
[v1]
2026年10月28日星期三 22:44:54 UTC（414 KB）
来源：arXiv cs.AI · arxiv.org