ForeSpark 提出并行投机解码联合预算调度

Jaeyong Song 等作者提交论文预印本，提出 work-conserving speculation（WCS）设计，并按请求联合分配草稿与验证预算，ForeSpark 是其原型。作者称，该设计针对并行投机解码的两个问题：草稿长度无法沿用自回归控制，以及草稿与验证长度在批次内相互耦合。 目前公开的是预印本中的方法描述，尚未给出实际服务中的效果数据。

AI 根据报道生成 · 45 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。