Boa Compressor：线性时间上下文压缩

Marc Serra Ortega 等作者提出 Boa Compressor，一个基于 Mamba 状态空间模型的即插即用在线上下文压缩器。它单次线性时间编码任意长度上下文，生成压缩表示供冻结的目标 LLM 使用，并通过知识蒸馏训练。 作者称，在相同压缩比下，Boa 的性能匹配或超越现有 SOTA 离线压缩基线，速度比 Transformer 实现快一个数量级；它可扩展至更长上下文和最高 16x 压缩比，使每次推理查询都能低成本压缩。上述性能与速度均为作者在论文中的说法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。