LEAF：用上下文记忆与自蒸馏提升 LLM 推理的探索效率

Explore with Memory, Learn without It: In-Context Exploration and Self-Distillation for LLM Reasoning

AI 导读

LEAF 通过在每次 rollout 前向上下文注入动态的问题专属记忆（含最近一次回答、奖励及环境反馈），并在每次验证后更新，从而将策略更新与 rollout 解耦、以自蒸馏方式更新策略。在四个 benchmark 和两个开源模型上，其探索速度约为随机采样基线的 4 倍，在未见测试集上准确率较最强基线分别提升 1.59 和 1.83 个百分点，且算力消耗低于所有 RL 基线。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：探索限制了带可验证奖励的强化学习（RLVR）的学习效率。当前方法大多通过独立采样进行探索，未能充分利用过程中收集到的信息，例如已知的错误答案和环境反馈。我们提出 LEAF，它在每次 rollout 之前向上下文中注入动态的、针对具体问题的记忆。该记忆包含最近的回答、其奖励以及其他环境反馈。它在每次验证器调用后更新。我们将策略更新与 rollout 解耦，并通过自蒸馏更新策略。在四个基准和两个开放模型上，与随机采样基线相比，LEAF 将探索速度提升约 4 倍。在未见过的测试集上，它在两个模型上分别比最强基线提升 1.59 和 1.83 个百分点的准确率，同时使用的计算量少于任何 RL 基线。这些结果凸显了 LEAF 在提升探索和学习效率方面的潜力。代码见：this https URL

评论：	预印本
主题：	机器学习（cs.LG）；人工智能（cs.AI）
引用为：	arXiv:2610.17734 [cs.LG]
	（或 arXiv:2610.17734v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.17734 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Yutong Chen [查看邮箱]
[v1] 2026年10月13日星期二 05:13:10 UTC（281 KB）

来源：arXiv cs.AI · arxiv.org