arXiv cs.CL· Ziru Chen, Dongdong Chen, Ruinan Jin, Yingbin Liang, Yujia Xie, Huan Sun·· 6 天前AI 评分25
COBALT：用离线轨迹的上下文赌博机学习实现多轮代码生成
COBALT: Contextual Bandit Learning with Offline Trajectories for Multi-Turn Code Generation
AI 导读
COBALT 提出一种复用离线多轮轨迹训练 LLM 做多轮代码生成的方法，基于多轮代码生成是一步可恢复马尔可夫决策过程的观察，先用参考 LLM 收集轨迹并切分为部分轨迹，再通过单步代码生成完成每个部分轨迹。
正文 · AI 翻译
摘要：面向多轮代码生成训练大型语言模型（LLM）通常依赖在线强化学习（RL），即模型从反复生成的在线 rollout 中学习。尽管有效，在线 RL 可能成本高昂且不稳定。在本文中，我们提出基于离线轨迹的上下文赌博机学习（COBALT），这是一种简单方法，可复用离线多轮轨迹来高效训练 LLM 进行多轮代码生成。基于多轮代码生成是一步可恢复马尔可夫决策过程这一观察，COBALT 首先使用参考 LLM 收集代码生成轨迹，并将其划分为部分轨迹。然后，在在线赌博机学习期间，训练 LLM 通过单步代码生成来完成每个部分轨迹。在 LiveCodeBench 上，COBALT 将 R1-Distill 8B 和 Qwen3 8B 分别提升最多 9.0 和 6.2 个绝对 Pass@1 点，并达到使用 GRPO 和 VeRPO 的两个多轮在线 RL 基线的性能。我们还对上下文内奖励黑客进行了基于扰动的分析，并表明 Cobalt 可以提高对误导性执行反馈的鲁棒性。总体而言，我们的结果表明 Cobalt 是多轮代码生成的一个有前景的解决方案。我们的代码和数据可在 此 https URL 获取。
| 评论： | TMLR 相机就绪版 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；软件工程（cs.SE） |
| 引用为： | arXiv:2602.03806 [cs.LG] |
| （或 arXiv:2602.03806v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.03806 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ziru Chen [查看电子邮件]
[v1]
2026年2月3日星期二 18:08:41 UTC（265 KB）
[v2]
2026年10月8日星期四 22:26:23 UTC（1,723 KB）
来源：arXiv cs.CL · arxiv.org