arXiv cs.AI· Tianyang Luo, Tao Feng, Zhigang Hua, Yan Xie, Shuang Yang, Ge Liu, Jiaxuan You·· 10 小时前AI 评分34
MemReward：用图结构经验记忆为 LLM 奖励预测补全有限标签
MemReward: Graph-Based Experience Memory for LLM Reward Prediction with Limited Labels
AI 导读
MemReward 用异构图把查询与初始策略的 rollout（思考过程与最终答案）连成节点，先在带标签 rollout 上预热 GNN，再在在线 RL 微调中按查询相似度挂载无标签 rollout 并传播奖励。
正文 · AI 翻译
摘要：强化学习（RL）微调利用采样轨迹上的奖励信号来提升大语言模型（LLM）的推理能力。当只有一部分轨迹有奖励标签时，将策略更新限制在该子集上会使其余轨迹无法用于策略优化。半监督学习将标签从有标签样本传播到无标签样本，但现有方法要么以固定相似度权重扩散标签，要么独立处理每个样本，忽略了查询、思考过程与答案之间的关系。我们提出 MemReward，一种基于图的经验记忆，可在在线策略优化过程中将奖励传播到无标签轨迹。MemReward 将初始 LLM 策略的查询和轨迹（思考过程与最终答案）存储为异构图节点，节点之间通过相似性和结构边连接，并在有标签轨迹上预热 GNN，以在该图上传播奖励。在在线 RL 微调期间，无标签轨迹通过查询相似性附加到图中，策略使用有标签轨迹上的真实奖励和其余轨迹上的 GNN 预测奖励进行更新。我们在数学、问答和代码生成领域的 13 个基准上评估 MemReward，使用可验证奖励，并进一步使用 LLM 评判、人类偏好和连续奖励进行评估。在仅有 20% 轨迹具有真实奖励的情况下，MemReward 在 Qwen2.5-1.5B 上达到全监督训练（Oracle）性能的 96.6%，在 Qwen2.5-3B 上达到 97.3%，并且在该模型上也优于标签传播和 FixMatch 式自训练。该方法可迁移到最高 8B 的 Llama 骨干模型，并在域外任务上接近 Oracle。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.19310 [cs.LG] |
| （或 arXiv:2603.19310v5 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.19310 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tianyang Luo [查看邮箱]
[v1]
2026年3月13日星期五 18:00:16 UTC（426 KB）
[v2]
2026年3月24日星期二 05:09:14 UTC（370 KB）
[v3]
2026年5月21日星期四 02:26:31 UTC（339 KB）
[v4]
2026年5月22日星期五 03:50:49 UTC（325 KB）
[v5]
2026年11月4日星期三 05:07:38 UTC（347 KB）
来源：arXiv cs.AI · arxiv.org