arXiv cs.AI· Yujia Chen, Yang Ye, Xiao Chu, Yuchi Ma, Cuiyun Gao·· 13 小时前AI 评分34
ASTOR：基于效用驱动协调的多任务代码强化学习框架
ASTOR: Multi-Task Code Reinforcement Learning via Utility-Driven Coordination
AI 导读
ASTOR 是一个多任务代码强化学习框架，通过任务效用信号协调数据调度与策略优化，让单个模型在四类代码任务上全面优于最佳任务专用模型 9.0%-9.5%，并超过最强 MTRL 基线 7.5%-12.8%。其分层效用路由数据调度模块按训练预算优先分配高信息量提示词，自适应效用校准策略优化模块则动态缩放各任务的 KL 正则强度。该工作已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：具有可验证奖励的强化学习（RL）已被证明能有效对 LLM 进行编码任务的后期训练，然而部署各自独立的任务专用专家模型会带来随任务数量增长的成本，这促使人们采用统一的多任务 RL（MTRL）方法。然而，现有的 MTRL 方法对所有编码任务一视同仁，依赖固定的数据课程和共享的优化策略，最终限制了多任务训练的效果。为解决这些局限，我们提出 ASTOR，一个通过效用驱动协调（uTility-driven coORdination）实现的多任务代码强化学习框架。ASTOR 以任务效用为核心——该信号刻画每个任务的学习潜力和跨任务协同效应——包含两个耦合模块：1）分层效用路由数据调度模块，分层分配训练预算并优先选择信息量大的提示，将训练引向最有价值的数据；2）自适应效用校准策略优化模块，动态调整每个任务的 KL 正则化强度，使更新约束与各任务当前的训练状态相匹配。在两个广泛使用的 LLM 上、针对四个代表性编码任务的实验表明，ASTOR 能持续提升单一模型在所有任务上的表现，比最佳的任务专用专家模型高出 9.0%-9.5%，比最强的 MTRL 基线高出 7.5%-12.8%。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.06111 [cs.SE] |
| （或 arXiv:2605.06111v2 [cs.SE] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.06111 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yujia Chen [查看邮箱]
[v1]
2026年5月7日 星期四 12:24:53 UTC（2,887 KB）
[v2]
2026年10月29日 星期四 06:53:51 UTC（2,891 KB）
来源：arXiv cs.AI · arxiv.org