RadarAI· X：UCSD Hao AI Lab (@haoailab)·· 2 小时前AI 评分58
UCSD Hao AI Lab 披露 vLLM 流式会话越界写共享缓存漏洞
vLLM 流式会话越界写共享缓存漏洞
AI 导读
UCSD Hao AI Lab 指出 vLLM 存在静默越界写问题：流式输入时只校验每个新 chunk 的长度、不校验整个会话总长，超长会话的 token 数据会溢出到共享前缀缓存块，后续请求复用该块时输出被改变且无报错。作者称限制 worker 写入、丢弃超限 token 数据可修复，相关 PR 为 vllm-project/vllm#67457。
正文 · AI 翻译
Hao AI Lab· @haoailab · X·2026-11-14 03:13· 37 分钟前AI 评分46
AI 导读
vLLM 存在静默越界写问题：流式输入时只校验每个新 chunk 的长度、不校验整个会话总长，超长会话的 token 数据会溢出到共享前缀缓存块，后续请求复用该块时输出被改变且无报错。限制 worker 写入、丢弃超限 token 数据可修复，PR 见 vllm-project/vllm#67457。
正文 · 原文
(4/7) 静默越界写：一个长流式会话覆盖了共享缓存块。
这破坏了内存隔离：一个请求绝不能写到自己的内存之外。
在流式输入下，vLLM 会检查每个新 chunk 的长度，但不检查整个会话的长度，因此会话可能超过模型的最大长度。vLLM 没有为这些额外 token 预留内存，因此它们的数据会溢出到会话内存之外，并可能落入共享缓存块。之后复用该块的请求可能得到不同的输出，且不会报错。
一个超过模型长度限制的长流式会话覆盖了共享前缀缓存块。限制 worker 写入可防止这一点，即丢弃超过限制的 token 数据。
PR：github.com/vllm-project/vllm/…
来源：Hao AI Lab · x.com
来源：RadarAI · aihot.news