Polymathic AI 与普林斯顿等机构发布 FlashMap，以 flow map 起草器实现最高 6.14x 无损解码加速

MarkTechPost· Asif Razzaq·2026-10-28 16:18· 1 小时前AI 评分52

Polymathic AI 与普林斯顿大学研究者发布 FlashMap，一种让 LLM 解码提速 6.14 倍的流映射起草器

AI 导读

Polymathic AI、普林斯顿大学、USC ISI、NYU 与 Flatiron Institute 的研究者发布 FlashMap，一种投机解码起草器，用连续 flow map 替代离散扩散起草器，1 次 forward pass 联合起草 16 个 token 的完整块，输出与目标模型严格一致。

正文 · 原文

来自 Polymathic AI、普林斯顿大学、USC ISI、NYU 和 Flatiron Institute 的研究者发布了 FlashMap。FlashMap 投机解码用连续流映射替代离散扩散起草器。它在 1 次前向传播中起草完整的 16 个 token 块。该块内的 token 彼此保持一致。在 Qwen3-8B 上，研究团队报告在 GSM8K 上最高实现 6.14 倍无损加速。Qwen3-8B 和 Qwen3-4B 的起草器权重已在 Hugging Face 上发布，并附带 vLLM 和 SGLang 插件。

TL;DR

• 规模：0.5B 参数起草器（Qwen3-8B 为 500M，Qwen3-4B 为 475M）；起草 K = 16 个 token 的块。
• 运行于：与目标模型相同的 GPU。论文中的加速数据使用 1 块 NVIDIA H200 NVL，并发数为 1，bf16 精度。
• 性能：在 Qwen3-8B 上测试的最快起草器，平均比重新训练的 DFlash 高约 7%。
• 最佳：在温度为 0 的 GSM8K 上实现 6.14 倍加速（接受长度 7.69 个 token）。
• 最差：在温度为 1 的 Alpaca 上实现 2.28 倍加速。在 Qwen3-4B（温度 0）上，它在 9 项任务中的 4 项落后于 DFlash。

什么是 FlashMap？

FlashMap 是一种投机解码起草器，可在 1 步内将高斯噪声映射为 token 块。一个小型起草器提出 K 个 token。目标模型随后在 1 次并行传播中检查全部 K 个 token，并保留最长匹配前缀。输出与目标模型原本会生成的结果完全一致。

速度取决于 2 件事。有多少起草的 token 被接受，以及起草它们的成本有多低。EAGLE-3 以自回归方式起草，因此成本随块长度增长。DFlash 通过块扩散在 1 次传播中起草整个块。

为什么扩散起草器会损失接受率？

DFlash 独立预测块中的每个槽位。研究团队称之为因子化近似。设想一个续写是“new york”或“san diego”，两者概率相同。独立起草器有一半时间会提出“new diego”或“san york”。目标模型会在第 2 个槽位拒绝这些结果。

FlashMap 基于 Flow Map Language Models 构建。每个噪声样本映射到 1 个完整块。噪声联合为每个槽位选择模式。

FlashMap 如何工作？

该起草器是一个 6 块扩散 transformer（DiT），嵌入维度为 2048，具有 16 个注意力头。它读取目标模型第 1、9、17、25 和 33 层的隐藏状态。嵌入矩阵和 LM head 从目标模型复制并保持冻结。

训练分 2 个阶段进行：

• 流教师：在 one-hot token 块上的连续流，使用交叉熵训练。时间重参数化处理 Qwen3 的 151,936 个 token 的词表。
• 流映射学生：半群蒸馏将流转变为 2 时间去噪器。它在 1 步内从噪声跳到数据。

两个起草器均在来自 Open-PerfectBlend 的 500K 样本上训练。所有模型和消融实验的总计算量约为 H200 上的 4,600 GPU 小时。

FlashMap 在基准测试中表现如何？

研究团队在相同的数据和设置下重新训练了 EAGLE-3 和 DFlash。测试覆盖数学、代码和聊天领域的 9 个基准，温度为 0 和 1。

• 速度：在 Qwen3-8B 的所有任务上，1 步 FlashMap 在两种温度下都是最快的草稿模型。
• 准确率：在 18 种设置中有 15 种，1 步 FlashMap 的接受长度超过 DFlash。它的参数量约为后者的一半。
• 聊天场景提升最大：在温度 0 下，相比 DFlash 在数学上提升 5.5%，在聊天上提升 11.1%。
• 2 步模式：在 18 种设置中全部超过 DFlash 的接受长度，平均提升 10%。
• EAGLE-3：在温度 1 下，其接受长度高 9%，但运行速度慢 35%。

打乱测试用于检验草稿是否利用了真实的 token 间结构。在 2 步时，FlashMap 恢复了 16 步教师模型的大部分联合结构增益。在 1 步时，它只保留了很小一部分。将 4 个噪声样本作为树进行草稿，平均加速提升了 11%。

对比：FlashMap 与其他投机解码草稿模型

平均加速由 Marktechpost 根据 FlashMap 论文图 1(c) 计算。匹配行使用作者重新训练的基线。

如何部署 FlashMap？

flashmap 包只需要 torch 和 transformers>=4.56。使用 uv pip install flashmap 安装。一次 spec_generate 调用可在 1 块 GPU 上同时运行草稿模型和目标模型。

对于服务部署，项目页面给出了 2 种路径：

• vLLM 0.31：在 --speculative-config 中传入草稿模型，并将 num_speculative_tokens 设为 16。
• SGLang 0.5.20：使用 --speculative-algorithm DSPARK 并指定 FlashMap 草稿路径。

设置 num_steps=2 以牺牲部分速度换取更高的接受率。对于温度高于 0 的采样，vLLM 需要 "draft_sample_method": "probabilistic"。

关键要点

• FlashMap 使用连续流映射在 1 次前向中联合草拟 16 个 token。
• 在 Qwen3-8B 上使用 0.5B 草稿模型，实现最高 6.14 倍的无损加速。
• 在全部 9 个 Qwen3-8B 基准上都快于重新训练的 DFlash。
• 2 步模式在整个块内保持接受率平稳。
• 权重为 Apache-2.0，代码为 MIT，并提供 vLLM 和 SGLang 插件。

查看论文、项目页面、GitHub 仓库和模型权重。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ 机器学习 SubReddit 并订阅我们的新闻通讯。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们了。

需要与我们合作推广您的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等？联系我们

文章 Polymathic AI 与普林斯顿大学研究人员发布 FlashMap，一种可将 LLM 解码速度提升 6.14 倍的流映射起草器 首次出现在 MarkTechPost 上。

来源：MarkTechPost · marktechpost.com