arXiv cs.CL· Manas Mehta, Fangcong Yin, Greg Durrett·· 11 小时前AI 评分32
Randomized YaRN 提升长上下文推理的长度泛化能力
Randomized YaRN Improves Length Generalization for Long-Context Reasoning
AI 导读
Randomized YaRN 将 YaRN 位置外推与随机位置编码、长度课程结合，在短上下文数据训练时给 token 分配采样自更大位置范围的 YaRN 位置编码，使模型接触分布外位置表示。在 BABILong、MRCR 和 LongBench v2 三个长上下文推理基准上，该方法在 16K 至 128K 上下文长度上持续优于标准微调，增益在远超分布外的长度上最大。
正文 · AI 翻译
摘要：大型语言模型（LLM）通常先在短序列上预训练，然后通过额外训练扩展到更长序列上工作。然而，此类 LLM 仍难以进一步泛化到极长序列。我们提出 Randomized YaRN，一种训练方法，通过将基于 YaRN 的位置外推与随机位置编码和长度课程相结合，提升长度泛化能力。在短上下文数据上训练时，token 被赋予从更大位置范围中采样的 YaRN 位置编码，使模型即使在短上下文输入上也能接触到分布外位置表示。我们在三个具有挑战性的长上下文推理基准 BABILong、Multi-Round Coreference Resolution（MRCR）和 LongBench v2 上评估 Randomized YaRN。在短上下文数据上训练时，Randomized YaRN 在 16K 至 128K 的上下文长度上持续提升推理性能，并优于标准微调，最大增益出现在远离分布外的长度上。我们的结果表明，逐步让模型接触 OOD 位置分布为可泛化的长上下文推理提供了一种有效方案。
| 评论： | EMNLP 2026 Findings |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.23687 [cs.CL] |
| （或 arXiv:2606.23687v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.23687 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Fangcong Yin [查看邮箱]
[v1]
2026年6月22日星期一 17:59:53 UTC（470 KB）
[v2]
2026年8月30日星期日 21:36:23 UTC（473 KB）
[v3]
2026年10月20日星期二 16:46:46 UTC（473 KB）
来源：arXiv cs.CL · arxiv.org