UCSD 团队用 vstack 发现 PD 分离推理服务 RDMA 竞态漏洞

Hao AI Lab· @haoailab · X·2026-11-12 03:14· 50 分钟前AI 评分46

AI 导读

UCSD Hao AI Lab 用 vstack 在 PD 分离推理服务中发现 3 类 RDMA 与 KV cache 生命周期 bug，已提出 6 项上游修复。

正文 · 原文

在 PD 分离推理服务中，GPUDirect RDMA 竞态往往返回 HTTP 200 OK，却悄悄把一个用户的 KV cache 混入另一个用户的响应。应用 vstack 后，在生产引擎中发现了 3 类 RDMA 与缓存生命周期 bug，并提出了 6 项上游修复。

借助 TLAPS 和 Z3，我们还证明了为什么在单边 RDMA 下本地超时会失效：如果没有硬件停止或撤销的证据，任何仅本地超时策略要么在过早释放页面时冒内存损坏风险，要么无限期持有已暴露的页面。

来源：Hao AI Lab · x.com