arXiv cs.CL· Nathan Godey, Yoav Artzi·· 3 天前AI 评分26
Copy-Paste Language Models：为 LLM 增加复制粘贴头提升上下文复制能力
Copy-Paste Language Models
AI 导读
研究者提出 Copy-Paste Language Models（CPLMs），在传统语言建模（LM）头之外增加一个轻量级 Copy-Paste 头，通过显式建模提升 LLM 的上下文复制能力。
正文 · AI 翻译
摘要：直观上认为 Transformer 擅长从输入中复制内容。我们实际上表明，LLM 的上下文复制能力可以通过显式建模得到提升。我们提出 Copy-Paste Language Models（CPLMs），在传统语言建模（LM）头之外增加一个轻量级的 Copy-Paste 头。CPLMs 提升了训练效率、下游性能，并在长上下文和检索场景中提供了新的工作点。我们通过预训练 135M 到 1.7B 参数的模型验证了该方法，在所有规模和骨干网络上均取得提升，且训练和推理开销可忽略不计。我们解释了 CPLMs 的成功原因，表明它们通过一条替代梯度路径部分缓解了 LM 头的梯度瓶颈。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.19247 [cs.CL] |
| （或 arXiv:2610.19247v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.19247 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
发件人：Nathan Godey [查看邮箱]
[v1]
2026年10月13日星期二 22:03:18 UTC（750 KB）
来源：arXiv cs.CL · arxiv.org