跳到正文
热点事件持续更新

dSpark:调度蒸馏加速扩散语言模型

1 篇报道1 个报道来源13 小时前更新

先了解这件事

AI 综述

Aidar Myrzakhan 与 Zhiqiang Shen 提出 dSpark,一种基于调度蒸馏的框架,让扩散语言模型学习“何时提交 token”以加速生成。该方法优先揭示能让其他位置更易预测的 token,并把这一调度蒸馏进模型,同时用 KL 散度正则项保持生成质量。 在 GSM8K 上,dSpark 在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 上分别实现 10.12 倍和 5.12 倍加速,同时保持更优的任务表现。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv cs.CL
    dSpark:用调度蒸馏让扩散语言模型学会何时提交 token

    研究者提出 dSpark,一种基于调度蒸馏的框架,通过学习"何时提交 token"来加速扩散语言模型生成。该方法优先揭示能让其他位置更易预测的 token,并将调度蒸馏进模型,配合 KL 散度正则项保持生成质量。在 GSM8K 上,dSpark 在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 上分别实现 10.12 倍和 5.12 倍加速,同时保持更优的任务表现。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。