arXiv cs.AI· Yutong Huang, Vikranth Srivatsa, Alex Asch, Yiying Zhang·· 1 天前AI 评分32
BunshinRL：面向智能体强化学习 rollout 的全工作区 fork 系统
BunshinRL: Whole-Workspace Forking for Agentic Reinforcement Learning Rollouts
AI 导读
BunshinRL 是一个智能体强化学习 rollout 系统，基于新型容器全工作区实时 fork 机制 BunshinFork，通过跨环境内存共享、工具前缀缓存和推测性工具执行三项技术降低开销。
正文 · AI 翻译
摘要：智能体强化学习（RL）的 rollout 在持久化工作区中将模型推理与工具调用交错进行。扩展这些 rollout 会为并发环境带来大量内存开销，而缓慢的工具调用会延迟整个 rollout 批次。我们提出 BunshinRL，一个智能体 RL rollout 系统，通过三项技术利用共享环境状态和重复的工具调用：跨环境内存共享、工具前缀缓存和推测性工具执行。这些技术建立在 BunshinFork 之上，后者是一种面向容器的新型实时全工作区分叉机制。BunshinFork 重建进程树、共享写时复制内存，并保留文件、通信和 GUI 状态，从而实现缓存状态复用以及错误推测后的回滚。我们通过 Linux 内核模块和 CRIU 修改实现了 BunshinRL 和 BunshinFork。BunshinRL 将峰值内存降低最多 43%，总内存消耗降低最多 51%，端到端 rollout 延迟降低 23%。
| 学科： | 人工智能（cs.AI）；操作系统（cs.OS） |
| 引用为： | arXiv:2611.10453 [cs.AI] |
| （或 arXiv:2611.10453v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.10453 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yiying Zhang [查看邮箱]
[v1]
2026 年 11 月 7 日星期六 04:05:17 UTC（498 KB）
[v2]
2026 年 11 月 11 日星期三 06:00:19 UTC（498 KB）
来源：arXiv cs.AI · arxiv.org