vLLM 跨实例图像缓存串号漏洞及修复

Hao AI Lab 披露并修复了 vLLM 在多服务器共享外部 KV 缓存时的图像缓存串号问题。当 prefix cache 与图像处理缓存均关闭时，每台服务器的图像标签都从 1 开始计数，不同图像在共享缓存中撞上同一 key，第二台服务器会命中并返回另一张图像的缓存数据，且表现为正常缓存命中、不报错。 修复方式是让每台服务器在图像标签中加入自己的随机部分，使跨服务器标签不再相同，相关 PR 为 #67461。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。