研究者提出BCSM蒸馏目标,单步推理NFE最多减6倍
热点事件持续更新
研究者提出BCSM蒸馏目标,单步推理NFE最多减6倍
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Peng Tu等作者提出双向中心化分数匹配(BCSM),作为离散扩散模型少步蒸馏的蒸馏目标,针对token-wise KL监督不足的问题。该方法构建O(K)双向活跃集,把成对比较降至O(K²)并分解为O(K)目标,同时引入跨时间步转移对齐。 作者报告的实验结果显示:单步推理下NFE最多减少6倍,HumanEval相对提升16.9%,MMMU相对提升15.1%。上述效果为作者在论文中的报告,尚待独立验证。
AI 根据报道生成 · 47 分钟前更新
最新进展11月5日 13:00
BCSM:面向离散扩散模型蒸馏的双向中心化分数匹配报道时间线
沿着报道,了解事件的不同侧面。
11月5日
- arXiv cs.AIBCSM:面向离散扩散模型蒸馏的双向中心化分数匹配
针对离散扩散模型少步蒸馏中 token-wise KL 监督不足的问题,研究者提出双向中心化分数匹配(BCSM),用 O(K) 双向活跃集把成对比较降至 O(K²) 并分解为 O(K) 目标,同时引入跨时间步转移对齐。实验显示单步推理下 NFE 最多减少 6 倍,HumanEval 相对提升 16.9%,MMMU 相对提升 15.1%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。