跳到正文
热点事件持续更新

研究者提出BCSM蒸馏目标,单步推理NFE最多减6倍

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Peng Tu等作者提出双向中心化分数匹配(BCSM),作为离散扩散模型少步蒸馏的蒸馏目标,针对token-wise KL监督不足的问题。该方法构建O(K)双向活跃集,把成对比较降至O(K²)并分解为O(K)目标,同时引入跨时间步转移对齐。 作者报告的实验结果显示:单步推理下NFE最多减少6倍,HumanEval相对提升16.9%,MMMU相对提升15.1%。上述效果为作者在论文中的报告,尚待独立验证。

AI 根据报道生成 · 47 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. arXiv cs.AI
    BCSM:面向离散扩散模型蒸馏的双向中心化分数匹配

    针对离散扩散模型少步蒸馏中 token-wise KL 监督不足的问题,研究者提出双向中心化分数匹配(BCSM),用 O(K) 双向活跃集把成对比较降至 O(K²) 并分解为 O(K) 目标,同时引入跨时间步转移对齐。实验显示单步推理下 NFE 最多减少 6 倍,HumanEval 相对提升 16.9%,MMMU 相对提升 15.1%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。