Hao AI Lab 分析 SGLang 取消请求丢失
热点事件持续更新
Hao AI Lab 分析 SGLang 取消请求丢失
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
UCSD Hao AI Lab 分析并报告了 SGLang 在 DP 注意力下的取消请求丢失问题:快速取消可能先于对应的生成请求到达而被丢弃,导致请求一直运行到 max_new_tokens。原因是默认 DP 控制路由下,生成请求直达所属 rank,而 abort 先到 rank 0 再广播,两条路径没有顺序保证。 该实验室称,在 GB200 上,20 毫秒内发出的 204 次 abort 中有 33 次丢失并运行到 max_new_tokens;当 abort 改为在各 rank 的工作 socket 上按序传输后,这一数字降至 204 次中 0 次。
AI 根据报道生成 · 2 小时前更新
最新进展11月18日 02:27
SGLang DP 注意力下取消请求丢失问题报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- RadarAISGLang DP 注意力下取消请求丢失问题
SGLang 在 DP 注意力下存在取消请求丢失问题:快速取消可能先于对应的生成请求到达而被丢弃,导致请求一直运行到 max_new_tokens。原因是默认 DP 控制路由下生成请求直达所属 rank,而 abort 先到 rank 0 再广播,两条路径无顺序保证。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。