arXiv cs.CL· Tianyi Zhang, Feiying Chen·· 9 小时前AI 评分31
逐 token 训练下的潜在事实组合:Baton 系列循环 Transformer 研究
Latent Fact Composition under Next-Token Training
AI 导读
研究构建合成语料,考察逐 token 训练的模型能否回答中间实体未出现在任何两跳训练样本中的两跳问题。标准 Transformer、循环 Transformer 和 DiscoLoop 几乎全部答错,新提出的 Baton 系列循环 Transformer 将中间实体以 token 嵌入传入第二次循环,仅预测答案时三个变体中两个近乎全对。
正文 · AI 翻译
摘要:对潜在两跳推理的受控研究训练 transformer 仅预测答案,而语言模型被训练为预测每一个 token。我们探究一个在每一个 token 上训练的模型是否学会回答那些中间实体不出现在任何两跳训练样本中的两跳问题。我们构建了一个包含此类问题的合成语料库。在该语料库上,损失的每一项都可以精确计算。一个循环 transformer、一个标准 transformer 和 DiscoLoop 几乎无法回答这些问题中的任何一个。因此,我们引入了 Baton 系列循环 transformer。它们将中间实体作为 token 嵌入传递给第二个循环。当训练为仅预测答案时,其三个变体中的两个几乎完美地回答了这些问题。随后,我们将每个模型的成功与失败与三个设计条件联系起来。每次改变一个条件的实验与这一假设相符。然而,当 Baton 在每一个 token 上训练时,其在这些问题上的准确率先上升后下降。我们进一步将下一 token 损失的梯度拆分为三项。移除依赖于特定训练集的两项会提高峰值准确率,但并不能消除下降。这种下降出现在第二跳,而模型仍然能回忆起两个事实。
| 评论: | 21 页,5 幅图,23 张表 |
| 主题: | 计算与语言 (cs.CL);机器学习 (cs.LG) |
| ACM 分类: | I.2.6;I.2.7 |
| 引用为: | arXiv:2611.21921 [cs.CL] |
| (或 arXiv:2611.21921v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.21921 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Tianyi Zhang [查看邮箱]
[v1]
2026 年 11 月 16 日星期一 21:33:27 UTC(449 KB)
来源:arXiv cs.CL · arxiv.org