T2D：从目标模型剪枝构建投机解码草稿模型

Shahriar Kabir Nahin 等作者提出 T2D 框架，把草稿模型设计表述为优化问题，通过延迟感知的结构化剪枝与知识蒸馏，直接从目标模型构建投机解码的草稿模型，并联合优化实测推理延迟与目标模型响应上的交叉熵损失。 作者称，在多领域投机解码基准和多个不同规模的目标模型族上，T2D 最多可剪掉目标模型 92% 的参数，性能优于竞争基线；生成的草稿模型还可即插即用地配合其他投机解码的 token 对齐与知识蒸馏方法，带来进一步提升。上述效果均为论文报告结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。