LongSpark：固定成本并行草稿的投机解码

Hao-Yuan He 等作者发布论文提出 LongSpark 块扩散草稿模型，用于投机解码。该模型从目标模型的验证过程中提取固定大小的多尺度视图，使草稿解码成本不随前缀长度增长，也无需维护随上下文增长的持久状态。 作者称，在多种模型规模和真实服务条件下，LongSpark 取得端到端效率 SOTA，长上下文任务中每输出 token 时间最低，同时将草稿模型的上下文状态缩减数个数量级。上述效果为论文作者的说法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。