arXiv cs.CL· Minchan Kwon, Seunghee Koh, Sunghyun Baek, Minsung Bae, Junmo Kim·· 9 天前AI 评分49
LLM 真能从上下文中的奖励学习吗？重新审视上下文强化学习中奖励的作用
Do LLMs Learn from Rewards in Context? : Rethinking the role of reward in In-Context RL
AI 导读
研究者在四个 benchmark、六个模型上测试了直接上下文强化学习（direct ICRL），发现奖励虽被模型读取，但影响很小：翻转、随机化或移除奖励后，模型的改进曲线几乎不变，即使提示词明确要求探索、利用或对奖励推理也是如此。
正文 · AI 翻译
摘要：LLM 智能体在推理时越来越多地通过在上下文中积累经验而非更新参数来提升表现。这一过程通常被称为上下文强化学习（ICRL）。然而，上下文学习（ICL）是否真的能扮演 RL 的角色，尚未得到检验。我们以最简单的形式——直接 ICRL——研究这一问题，即模型直接以原始轨迹-奖励对为条件，并追问奖励是否起到了学习信号的作用。通过在四个基准、六个模型上的受控实验，我们发现奖励会被读取，但其影响很小：翻转、随机化或移除奖励几乎不改变改进曲线，即便在明确指示模型探索、利用或对奖励进行推理的元提示下也是如此。轨迹驱动了改进，但并非通过其语义内容：打乱或损坏的轨迹与真实轨迹效果一样好。这些模式与 ICL 中已知的模式高度相似，表明直接 ICRL 更适合被理解为 ICL 的一个特例，而非推理时 RL。这一重新定位对智能体记忆设计具有启示：输入分布和示范等 ICL 因素可能比奖励塑形和探索等 RL 要素更为重要。
| 评论： | NeurIPS 2026 Spotlight（负面结果赛道） |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.11152 [cs.LG] |
| （或使用 arXiv:2610.11152v1 [cs.LG] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.11152 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Minchan Kwon [查看邮箱]
[v1]
2026年10月8日星期四 03:15:00 UTC（1,098 KB）
来源：arXiv cs.CL · arxiv.org