arXiv cs.AI· Xiaoyue Xu, Sikui Zhang, Xiaorong Wang, Xu Han, Chaojun Xiao·· 3 天前AI 评分39
超越奖励工程：面向长上下文强化学习的数据配方
Beyond Reward Engineering: A Data Recipe for Long-Context Reinforcement Learning
AI 导读
研究提出一套以数据为中心的长上下文强化学习配方，围绕检索、多证据综合与推理三类任务构建八个数据集、共约 14K 样本，仅搭配基于结果的最小化 GRPO 设置。在 Qwen3-4B/8B/30B-A3B 三个模型上，于七个长上下文 benchmark 平均提升 +7.2/+3.2/+6.4 分，超过此前的 RL 训练集。
正文 · AI 翻译
摘要：长上下文推理是大型语言模型的一项关键能力，尤其是当它们被部署为必须在冗长轨迹上进行推理的自主智能体时。强化学习（RL）近来已成为提升这一能力的主流范式，然而现有工作大多聚焦于奖励工程，而多样化的训练数据仍然稀缺。我们从以数据为中心的视角重新审视这一问题，并表明仅凭一个简单而有效的数据配方，搭配一个极简的基于结果的 GRPO 设置，就足以大幅提升长上下文推理能力。我们的配方针对三个互补的任务族——检索、多证据综合与推理——为此我们构建并整理了八个数据集，总计约 14K 个样本。在三个模型（Qwen3-4B/8B/30B-A3B）上的实验在七个长上下文基准上平均提升 +7.2/+3.2/+6.4 分，超越了此前的 RL 训练集。我们进一步证明，这些提升可迁移到智能体任务：在经智能体调优的模型上使用我们的数据配方继续 RL 训练，使 GAIA 提升 +4.8 分，BrowseComp 提升 +7.0 分。我们将发布我们的数据集以促进未来研究。
| 评论： | 15 页，6 幅图，12 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.18831 [cs.CL] |
| （或 arXiv:2606.18831v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.18831 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Xiaoyue Xu [查看邮箱]
[v1]
2026 年 6 月 17 日星期三 09:07:42 UTC（675 KB）
[v2]
2026 年 10 月 13 日星期二 06:22:14 UTC（675 KB）
来源：arXiv cs.AI · arxiv.org