受控研究重测投机解码接受长度与延迟权衡

Yongchao Long 等作者发表受控研究，在共享目标模型生成的数据上重新测量已发布 checkpoint 并重训六种 drafter 方案，发现统一训练与推理条件后，已发表对比中的接受长度差距大幅缩小。 研究称，接受长度可通过近乎零成本的目标与上下文调整提升；DCore 作为强基线几乎不增加额外草稿开销。但收益是有条件的：任务不确定性与服务条件会影响接受回报、执行成本和最优 drafter 与预算选择。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。