ReplaySSM：重新思考混合模型解码的状态存储

ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding

AI 导读

NVIDIA 提出 ReplaySSM，重新思考混合模型解码时的状态存储方式。NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3、GLM-5.3-Flash 等混合模型将 SSM 层与少量注意力层交错，SSM 层用固定大小状态替代随序列增长的 KV cache 以实现快速解码。

正文 · AI 翻译

A cube assembled from smaller dark blocks, with glowing cyan, pink, yellow, and green sections against a black background. 混合模型将状态空间模型（SSM）层与少量注意力层交错排列。NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3 和 GLM-5.3-Flash 都是……

混合模型将状态空间模型（SSM）层与少量注意力层交错排列。NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3 和 GLM-5.3-Flash 都采用这种方式构建，以 Mamba-2、Gated DeltaNet（GDN）或 Kimi Delta Attention（KDA）作为 SSM 层。SSM 层旨在让解码变得快速：它们使用固定大小的状态，取代随……增长的键值（KV）缓存。

来源

来源：NVIDIA Technical Blog · developer.nvidia.com