SGLang DP 注意力下取消请求丢失问题
SGLang 在 DP 注意力下存在取消请求丢失问题:快速取消可能先于对应的生成请求到达而被丢弃,导致请求一直运行到 max_new_tokens。原因是默认 DP 控制路由下生成请求直达所属 rank,而 abort 先到 rank 0 再广播,两条路径无顺序保证。
Hao AI Lab· @haoailab · X·2026-11-18 02:27· 53 分钟前AI 评分40
AI 导读
SGLang 在 DP 注意力下存在取消请求丢失问题:快速取消可能先于其对应的生成请求到达而被丢弃,导致请求一直运行到 max_new_tokens。原因是默认 DP 控制路由下生成请求直达所属 rank,而 abort 先到 rank 0 再广播,两条路径无顺序保证。
正文 · 原文
(6/8) 取消丢失:在 DP 注意力下,快速取消可能先于其对应的生成请求到达而被丢弃,导致请求一直运行到 max_new_tokens。
这破坏了取消的最终性:一旦 abort 请求成功,被取消的请求就不得运行至完成。
在默认 DP 控制路由下,生成请求直接发往其所属 rank,而 abort 先发往 rank 0 再跨 rank 广播,两条路径之间没有顺序保证。如果 abort 先到达,调度器尚未看到该请求,就会丢弃 abort,并在下一次轮询时让请求运行到其 token 上限。
在 GB200 上,20 ms 内发送的 204 次 abort 中有 33 次丢失并运行到 max_new_tokens;当 abort 在每个 rank 的工作 socket 上按序传输后,这一数字降至 204 次中 0 次。
PR:github.com/sgl-project/sglang…
来源:Hao AI Lab · x.com
来源:RadarAI · aihot.news