跳到正文
RadarAI· X:UCSD Hao AI Lab (@haoailab)·· 4 小时前AI 评分38

SGLang DP 注意力下取消请求丢失问题

AI 导读

SGLang 在 DP 注意力下存在取消请求丢失问题:快速取消可能先于对应的生成请求到达而被丢弃,导致请求一直运行到 max_new_tokens。原因是默认 DP 控制路由下生成请求直达所属 rank,而 abort 先到 rank 0 再广播,两条路径无顺序保证。

正文 · AI 翻译

Hao AI Lab· @haoailab · X·2026-11-18 02:27· 53 分钟前AI 评分40

AI 导读

SGLang 在 DP 注意力下存在取消请求丢失问题:快速取消可能先于其对应的生成请求到达而被丢弃,导致请求一直运行到 max_new_tokens。原因是默认 DP 控制路由下生成请求直达所属 rank,而 abort 先到 rank 0 再广播,两条路径无顺序保证。

正文 · 原文

(6/8) 取消丢失:在 DP 注意力下,快速取消可能先于其对应的生成请求到达而被丢弃,导致请求一直运行到 max_new_tokens。

这破坏了取消的最终性:一旦 abort 请求成功,被取消的请求就不得运行至完成。

在默认 DP 控制路由下,生成请求直接发往其所属 rank,而 abort 先发往 rank 0 再跨 rank 广播,两条路径之间没有顺序保证。如果 abort 先到达,调度器尚未看到该请求,就会丢弃 abort,并在下一次轮询时让请求运行到其 token 上限。

在 GB200 上,20 ms 内发送的 204 次 abort 中有 33 次丢失并运行到 max_new_tokens;当 abort 在每个 rank 的工作 socket 上按序传输后,这一数字降至 204 次中 0 次。

PR:github.com/sgl-project/sglang…

来源:Hao AI Lab · x.com

来源:RadarAI · aihot.news