arXiv cs.AI· Xiangyu Li, Huaizhi Tang, Xin Ding, Weijun Wang, Ting Cao, Yunxin Liu·· 3 天前AI 评分30
OxyGen：面向多任务并行 VLA 推理的统一 KV Cache 管理
OxyGen: Unified KV Cache Management for VLA Inference under Multi-Task Parallelism
AI 导读
OxyGen 提出统一 KV cache 管理，将 KV cache 视为跨任务与控制周期共享的一等资源，通过跨任务 KV 共享消除共享观测的冗余 prefill，并用跨帧连续批处理在每帧解码预算内推进未完成请求。
正文 · AI 翻译
摘要：具身 AI 智能体日益需要从共享观测中并行执行多个任务，例如操作、对话和记忆构建，且各任务具有不同的时间约束。近期的混合 Transformer（MoT）视觉-语言-动作模型（VLA）支持此类异构输出，但现有推理系统在设备端服务并发任务时会产生冗余计算和资源争用。我们确定隔离式 KV 缓存管理是根本原因。为解决此问题，我们提出统一 KV 缓存管理，这是一种将 KV 缓存视为跨任务和控制周期的一等共享资源的推理设计。这一抽象实现了两项关键优化：跨任务 KV 共享消除了对共享观测的冗余预填充，而跨帧连续批处理则将来自不同帧的未完成语言请求进行批处理，并在每帧解码预算内推进它们。我们在 OxyGen 中实现了该设计，并在 NVIDIA GeForce RTX 4090 和 Jetson AGX Thor 上评估了 $\pi_{0.5}$。OxyGen 相比隔离执行实现了最高 3.7$\times$ 的加速，在 RTX 4090 上同时提供超过 200 tokens/s 的语言吞吐量和 70 Hz 的动作频率。我们还在 Xiaomi-Robotics-0 和 StarVLA 上跨不同骨干网络和专家配置验证了该设计。我们进一步在搭载板载 Jetson AGX Thor 的人形机器人上展示了推理收益。
| 评论： | NeurIPS 2026 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.14371 [cs.RO] |
| （或 arXiv:2603.14371v4 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.14371 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xiangyu Li [查看电子邮件]
[v1]
2026年3月15日星期日 13:23:56 UTC（645 KB）
[v2]
2026年5月18日星期一 10:25:25 UTC（4,764 KB）
[v3]
2026年10月13日星期二 11:14:49 UTC（5,893 KB）
[v4]
2026年10月14日星期三 06:30:19 UTC（1,906 KB）
来源：arXiv cs.AI · arxiv.org