vLLM 0.33.0 引入 ROCM_OCTAVE 3-4 位 KV 缓存后端，为 AMD 显卡提供新方案

vLLM 0.33.0 发布 ROCM_OCTAVE，这是一款面向 AMD 显卡的 3-4 位 KV 缓存后端。在 Radeon RX 7900 XTX 上，它实现 4.6 倍 KV 缓存容量，并显著提升吞吐量。