arXiv cs.AI· Peng Tu, Baoyou Chen, Haoyuan Xia, Zilong Dong, Weihao Yuan, Siyu Zhu·· 10 小时前AI 评分31
BCSM：面向离散扩散模型蒸馏的双向中心化分数匹配
Bidirectional Centered Score Matching for Discrete Diffusion Distillation
AI 导读
针对离散扩散模型少步蒸馏中 token-wise KL 监督不足的问题，研究者提出双向中心化分数匹配（BCSM），用 O(K) 双向活跃集把成对比较降至 O(K²) 并分解为 O(K) 目标，同时引入跨时间步转移对齐。实验显示单步推理下 NFE 最多减少 6 倍，HumanEval 相对提升 16.9%，MMMU 相对提升 15.1%。
正文 · AI 翻译
摘要：采用并行解码的离散扩散模型通常通过逐 token 的 KL 目标进行蒸馏。尽管逐 token 的 KL 与相应的乘积形式块分布完全匹配，但其概率空间中的优化几何以及仅使用教师模型的候选截断，在激进的少步蒸馏下可能提供不足的监督。Concrete Score Matching（CSM）通过对齐相对 logit 几何，提供了一种位置内的替代目标，但其完整的成对形式会带来 \mathcal{O}(|\mathcal{V}|^2) 复杂度。我们提出双向中心化分数匹配（Bidirectional Centered Score Matching，BCSM），这是一种高效的位置内蒸馏目标，它构建 \mathcal{O}(K) 的双向活跃集，将成对比较减少到 \mathcal{O}(K^2)，并将其分解为 \mathcal{O}(K) 的目标。我们进一步引入跨时间步转移对齐。实验展示了强大的质量—效率权衡，包括在单步推理下 NFE 最多减少 6\times，HumanEval 相对提升 16.9\%，MMMU 相对提升 15.1\%。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.04279 [cs.AI] |
| （或使用 arXiv:2611.04279v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2611.04279 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yh.Peng Tu [查看电子邮件]
[v1]
2026年11月3日星期二 04:05:41 UTC（7,225 KB）
[v2]
2026年11月4日星期三 03:21:50 UTC（7,225 KB）
来源：arXiv cs.AI · arxiv.org