arXiv cs.AI· Lunjun Zhang, Ryan Chen, Bradly C. Stadie·· 10 小时前AI 评分30
E-SPL：面向 LLM 强化学习的进化式系统提示词学习
Evolutionary System Prompt Learning for Reinforcement Learning in LLMs
AI 导读
研究者提出 Evolutionary System Prompt Learning（E-SPL），在每次 RL 迭代中并行采样多个系统提示词下的轨迹，用 RL 更新权重、用自我反思进化系统提示词。
正文 · AI 翻译
摘要：构建能够从经验中自主自我改进的智能体系统是 AI 的长期目标。如今，大语言模型（LLM）主要通过两种机制实现自我改进：用于上下文更新的自我反思，以及用于权重更新的强化学习（RL）。在这项工作中，我们提出了进化式系统提示学习（E-SPL），一种联合改进模型经验上下文与权重的方法。在每次 RL 迭代中，E-SPL 在多个系统提示下并行采样轨迹，然后利用这些轨迹通过 RL 联合更新权重，并通过自我反思进化系统提示。E-SPL 鼓励在权重中的程序性知识与系统提示中的可解释陈述性知识之间形成自然分工。最值得注意的是，在由易到难的泛化设置中（AIME $\rightarrow$ BeyondAIME），E-SPL 将 RL 成功率从 38.8% $\rightarrow$ 45.1%。E-SPL 还在 AIME 2025（56.3% $\rightarrow$ 60.6%）、HMMT 2025（50.0% $\rightarrow$ 52.7%）以及智能体搜索（在 gpt-oss-120b 上从 44.2% $\rightarrow$ 48.6%）上改进了 RL。在所有设置中，E-SPL 均优于仅 RL 和仅进化的基线，表明权重更新与上下文更新深度协同，二者结合能够带来任一单独方式都无法实现的泛化收益。代码可在 此 https URL 获取。
| 评论： | NeurIPS 2026 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2602.14697 [cs.AI] |
| （或 arXiv:2602.14697v4 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.14697 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Lunjun Zhang [查看电子邮件]
[v1]
2026年2月16日星期一 12:34:27 UTC（4,259 KB）
[v2]
2026年2月23日星期一 08:43:06 UTC（4,246 KB）
[v3]
2026年2月25日星期三 03:50:21 UTC（4,248 KB）
[v4]
2026年11月4日星期三 08:38:33 UTC（6,576 KB）
来源：arXiv cs.AI · arxiv.org