arXiv cs.CL· Ge Qu, Jinyang Li, Xiaohan Xu, Xiaolong Li, Bowen Qin, Nan Huo, Ziwei Tang, Chenhao Ma, Reynold Cheng·· 12 小时前AI 评分35
BIRD-RL：面向有状态数据中心环境的智能体强化学习框架
BIRD-RL: Scaling Agentic Reinforcement Learning over Stateful Data-Centric Environments
AI 导读
BIRD-RL 提出四阶段智能体强化学习课程，交替增强基础推理与轨迹自适应在线策略探索，并配套轨迹级持久执行基础设施，实现数据库副本安全复用且保持轨迹隔离，将空间 RL 效率提升 12.8 倍，无需 Kubernetes。
正文 · AI 翻译
摘要：尽管智能体强化学习（RL）已成为训练小语言模型（SLM）的一种有前景的范式，但现有框架大多以工具为中心，难以应对以数据为中心的环境。具体而言，将工具中心框架应用于 SQL 调试等有状态任务会带来严重的空间效率问题，因为恰当的环境隔离通常需要为每次 rollout 单独配置一个数据库容器。若在多轮交互中不跟踪状态演化而直接复用数据库，会导致轨迹污染与跨轨迹干扰，严重破坏策略更新的稳定性。为克服这些瓶颈，我们提出 BIRD-RL，一种新颖的四阶段智能体 RL 课程，交替增强基础智能体推理与轨迹自适应同策略探索，以规避直接端到端学习固有的不稳定性。关键在于，为支撑该课程，BIRD-RL 由轨迹作用域持久执行基础设施驱动，该基础设施在保持轨迹隔离的同时实现数据库副本的安全复用。该设计将空间 RL 效率提升 12.8 倍，成功实现了面向复杂数据中心任务的可扩展智能体 RL，且无需 Kubernettes。在 BIRD-CRITIC-SQLite 基准上的实证评估表明，我们的 7B 和 14B 模型分别达到 44.40% 和 48.00% 的成功率，与 Claude-Opus-4.6 Agent（48.20%）等强大的专有模型智能体相比具有竞争力。此外，BIRD-RL 成功训练出可同时胜任高级 SQL 调试与生成的统一 SLM，凸显了其在异构、真实世界数据中心任务中进行多目标优化的更广泛潜力。
| 评论： | 已被 NeurIPS 2026 主赛道接收 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29426 [cs.LG] |
| （或 arXiv:2610.29426v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29426 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ge Qu [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 08:50:39 UTC（1,364 KB）
来源：arXiv cs.CL · arxiv.org