arXiv cs.AI· Hanane Nour Moussa, Doeun Lee, Sachin Kumar·· 2 天前AI 评分31
EliteReplay：通过质量-多样性搜索在 RL 后训练中保留多样化解法
EliteReplay: Preserving Diverse Solutions in RL Post-Training via Quality-Diversity Search
AI 导读
EliteReplay 是一种将 GRPO 与质量-多样性搜索构建的"精英"存档配对的 LLM 后训练方法，训练前用冻结基座模型收集不同解法的样本，训练中结合存档上的 replay loss。
正文 · AI 翻译
摘要：强化学习已成为一种常见的后训练技术，用于提升 LLM 在可验证任务上的准确率。然而，此类训练可能会缩小模型所能产生的解集。已有若干方法试图解决这种行为锐化效应，但它们往往优化的是无法反映正确解多样性的指标。理想情况下，我们希望模型能够产生多个优质解，而不仅仅是一个可靠的解。我们提出 EliteReplay，一种将 GRPO 与通过质量-多样性搜索构建的“精英”存档相结合的后训练方案。训练前，我们使用冻结的基础模型收集涵盖不同方法的解；训练期间，将 GRPO 与该存档上的回放损失相结合。由此得到的后训练模型在提升准确率的同时，保留了更多基础模型的解多样性。在多个文本到 SQL 任务上，EliteReplay 的 pass@128 高于所有基线，产生的不同正确策略比最强基线多出多达 77%。它保留了基础模型的大部分正确策略，在策略保留方面优于现有方法。这种多样性在歧义问题上带来了实际收益：在 AmbiQT 上，EliteReplay 同时覆盖两种解释的频率几乎是 最强基线的两倍。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22290 [cs.AI] |
| （或 arXiv:2610.22290v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22290 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hanane Nour Moussa [查看电子邮件]
[v1]
2026年10月15日星期四 17:43:31 UTC（184 KB）
来源：arXiv cs.AI · arxiv.org