arXiv cs.CL· Zhennan Wan, Jianfei Chen·· 12 小时前AI 评分45
LongZero：无需外部数据即可提升 LLM 长上下文推理能力
LongZero: Enhancing Long-Context Reasoning in LLMs from Zero Data
AI 导读
LongZero 提出一种零数据强化学习方法，让 LLM 自行合成带证据的多跳推理任务与多轮检索任务，再用 GRPO 训练，无需任何外部语料或更强教师模型。该方法在两个 LLM 和五个长上下文推理基准上评测，性能超过基于外部语料合成数据的 RL 基线，并能泛化到真实任务。代码与数据已公开。
正文 · AI 翻译
摘要：强化学习（RL）是增强大语言模型（LLM）长上下文推理能力的有效方法，但它需要长、多样、有挑战性且可验证的训练数据。人工标注此类数据成本高昂，自然产生的数据过于稀缺，无法支撑强化学习，而现有的合成方法依赖外部语料库或更强的教师模型，随着被训练模型变得更强，这些资源越来越难以获得。近来，零数据强化学习（模型从自身提出的任务中学习）已取得优异表现，但现有方法针对的是短上下文任务。因此，我们提出 $\textbf{LongZero}$，一种让 LLM 在没有任何外部数据的情况下提升自身长上下文推理能力的方法。LongZero 不在现有文档上编写问题和答案，而是先让模型以紧凑的结构化形式合成问题、答案及其支撑证据，然后再单独将证据扩展为长多文档上下文。LongZero 将这些自写的多跳推理任务与自写的多轮检索任务相结合，并用 GRPO 训练模型。我们在两个 LLM 上、跨五个长上下文推理基准对 LongZero 进行了评估，并将其与基于外部语料库合成数据的强化学习进行了比较。实验结果表明，LongZero 能够泛化到真实任务，并优于两个基线，这表明它是一条可行且有前景的提升 LLM 长上下文推理能力的路径。
| 评论： | 代码和数据可在 此 https URL 获取 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.30132 [cs.CL] |
| （或 arXiv:2610.30132v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30132 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhennan Wan [查看邮箱]
[v1]
2026年10月21日星期三 17:59:14 UTC（255 KB）
来源：arXiv cs.CL · arxiv.org