arXiv cs.MA· Jiming Su, Feng Zhu, Yuhao Xiao, Miao Zhang·· 11 小时前AI 评分26
SEER：面向多智能体强化学习环境并行执行的可扩展事件驱动运行时
SEER: A Scalable Event-Driven Runtime for Parallel Execution of Multi-Agent Reinforcement Learning Environments
AI 导读
SEER 是一个面向多智能体强化学习环境执行的事件驱动运行时，将每个环境 step 建模为带时间戳的有界事件流，在保持串行等价边界输出的前提下并行执行独立事件。
正文 · AI 翻译
摘要：多智能体强化学习（MARL）越来越多地用于众多实体在共享环境中交互的系统。在这类工作负载中，策略推理可以在 GPU 上批处理，但 CPU 侧的环境路径仍然要在每个 $\mathrm{this http URL}$ 内更新实体状态、处理局部交互并构建观测。在策略批处理之后，这条路径可能成为交互密集型工作负载中延迟的主要来源。现有的向量化环境接口和通用事件驱动运行时，无法在保持学习系统所期望的步级语义的同时，直接处理单个有界 MARL 步内细粒度的跨实体工作。我们提出 SEER（可扩展事件驱动环境运行时），一种在显式事件局部性契约下执行 MARL 环境的运行时。SEER 将每个环境步建模为带时间戳事件的有界流。如果直接状态更新是实体局部的，且跨实体影响被表示为有序的未来事件，那么 SEER 可以并行运行独立事件，同时保持与串行执行等价的边界输出。为使该契约实用，SEER 使用基于 CAS 的双层事件队列：本地事件队列保持每个实体的因果顺序，而并行执行列表将就绪工作暴露给全局工作线程。SEER 还使用 STPA，一种预检引导的线程池选择机制，它结合短运行时轨迹与静态工作负载和硬件特征。我们在两个参数化 MARL 工作负载上评估 SEER：计算密集型无人机集群控制（Aircraft）和通信密集型无线管理（PCS）。在 Aircraft 上，SEER 相比基线将推理延迟降低 16.2\%。在 PCS 上，SEER 相比 ROSS-T、NBSE 和 ROOT-Sim 分别将环境执行延迟降低 46.9\%、19.5\% 和 64.9\%。
| 主题： | 分布式、并行与集群计算（cs.DC）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2611.07996 [cs.DC] |
| （或 arXiv:2611.07996v1 [cs.DC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07996 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiming Su [查看邮箱]
[v1]
2026年11月5日星期四 13:24:57 UTC（5,544 KB）
来源：arXiv cs.MA · arxiv.org