arXiv cs.AI· Yiming Yan, Hongyang Wang, Wenbo Chen, Xuan Wang, Jingguo Liu, Xian Li, Chen Qi, Leo Fan, Siwei Li, Qianli Wu, Yichuan Li, Ruochen Wen, Qian Qu, Zheshen Wang, Benoit Dumoulin·· 13 小时前AI 评分52
Sandman：在共享 Kubernetes 上为智能体强化学习构建并运营沙箱
Sandman: Building and Operating Sandboxes for Agentic Reinforcement Learning on Shared Kubernetes
AI 导读
Amazon 团队提出沙箱服务 Sandman，用于智能体工具执行与评测，在共享 Kubernetes 上支撑多个生产级智能体强化学习负载。每个沙箱是一个 Kubernetes pod，镜像中挂载一个小型守护进程，文件与进程在调用间持续保留，直到训练框架释放环境。
正文 · AI 翻译
作者：Yiming Yan、Hongyang Wang、Wenbo Chen、Xuan Wang、Jingguo Liu、Xian Li、Chen Qi、Leo Fan、Siwei Li、Qianli Wu、Yichuan Li、Ruochen Wen、Qian Qu、Zheshen Wang、Benoit Dumoulin
摘要：智能体强化学习（RL）通常需要在特定任务环境中反复调用工具。一个训练作业可能会突发创建数千个此类环境，同时与其他作业共享集群。我们提出 Sandman，这是一个在 Amazon 构建并运营的沙箱服务，用于智能体工具执行与评估。它在共享 Kubernetes 上为多个生产级智能体 RL 工作负载提供服务。训练框架提供任务镜像，并使用返回沙箱中的命令和文件操作。文件和进程在多次调用之间持续存在，直到框架释放该环境。Sandman 负责管理创建、就绪和清理。每个沙箱都是一个 Kubernetes pod，其中一个小型守护进程被挂载到未修改的镜像中。在规模测试中，Sandman 维持了 11,858 个并发微型沙箱。2026 年 10 月，四个生产级 SWE-bench Verified 训练活动创建了 310 万个沙箱。我们报告了在处理创建突发、准备任务环境、回收废弃沙箱以及在受控条件下运行评估时的设计权衡和运维经验。我们将开源 Sandman 的守护进程、提供程序和池。
| 评论： | 42 页，6 幅图，53 张表 |
| 主题： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.39711 [cs.DC] |
| （或此版本的 arXiv:2610.39711v1 [cs.DC]） | |
| https://doi.org/10.48550/arXiv.2610.39711 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yiming Yan [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 09:45:57 UTC（214 KB）
来源：arXiv cs.AI · arxiv.org